JP2010109947A - 処理実行指示装置、電子機器、及び処理実行指示装置の制御方法 - Google Patents

Abstract

【課題】外部装置から違和感なく遠隔操作を行うことを可能にする。
【解決手段】本発明のセンサ付きサブ表示装置２３０は、通信端末装置４００と無線通信を行うための近距離無線通信部９３５と、第１操作用画像と同じ内容を含む第２操作用画像を、近距離無線通信部９３５を介して通信端末装置４００に送信する画像送信部３と、通信端末装置４００が検出した、該通信端末装置４００に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理をメイン表示装置２１０に実行させる処理コマンド生成部４とを備えているので、通信端末装置４００にてメイン表示装置２１０を遠隔操作するときにユーザに違和感を与えることがない。
【選択図】図１

Description

本発明は、入力操作と該入力操作によって実行される処理との対応を示す操作用画像を表示し、該操作用画像に従って行われるユーザの入力操作を検出し、検出した入力操作に対応する処理を制御対象装置に実行させる処理実行指示装置等に関するものである。

従来から、携帯型の通信端末をテレビ等の電子機器のリモートコントローラ（以下、リモコンと呼ぶ）として機能させる技術が利用されている。例えば、ｉアプリ（登録商標）には、携帯電話機をリモコンとして機能させるアプリケーションソフト（以下、リモコンアプリと呼ぶ）がある。

携帯電話機でリモコンアプリを起動させることにより、携帯電話機の表示部に電子機器を操作するガイド画面が表示される。また、リモコンアプリの起動状態で携帯電話機に入力操作を行うことにより、入力操作に応じた操作信号が操作対象となる電子機器に送信されるようになる。これにより、ユーザは、ガイド画面を見ながら入力操作を行うことで、携帯電話機にて電子機器の遠隔操作を行うことができる。

また、近年、電子機器に入力操作を行う入力装置として、直感的な入力操作が可能となるタッチパネルが広く適用されるようになっている。例えば、下記の特許文献１から４には、ノート型のパーソナルコンピュータ（以下、ノートＰＣと呼ぶ）に、透明なタッチパッドと該タッチパッドの背面に配置された液晶表示装置とによって構成されるタッチパネルを搭載することが記載されている。

ノートＰＣへの入力操作をタッチパネルで行うことができるようにすることによって、ユーザは、表示される操作用画像に従ってタッチパネルに触れるという直感的な入力操作によって、ノートＰＣを操作することができる。下記の特許文献１から４に記載のノートＰＣについても、該ノートＰＣに対応するリモコンアプリを作成し、該リモコンアプリを携帯電話機で起動させることによって、携帯電話機で操作することは可能であると考えられる。
特開２０００−３３９０９７（２０００年１２月８日公開） 特開２００４−５１０５（２００４年１月８日公開） 特開２００４−５２１２（２００４年１月８日公開） 特開２００４−２３４５０４（２００４年８月１９日公開）

しかしながら、上記従来の構成では、携帯電話機等の通信端末装置を用いて操作対象の電子機器を操作する場合に、当該電子機器が本来備えているタッチパネルや入力キー、及びリモコン等で入力操作を行うときと同じ感覚で操作することはできないという問題がある。

すなわち、リモコンアプリが表示するガイド画面の表示内容は、操作対象の電子機器が備えるタッチパネルの操作用画像とは一致しない。また、操作対象の電子機器の本体に設けられた入力キーやリモコンの入力キーの配置と携帯電話機の入力キー配置とは異なっている。このため、ユーザに、携帯電話機でリモコンアプリを起動して操作を行う場合に違和感を与えてしまう。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、通信端末装置で電子機器を遠隔操作するときにも違和感なく入力操作を行うことのできる処理実行指示装置等を実現することにある。

本発明に係る処理実行指示装置は、上記課題を解決するために、入力操作と該入力操作によって制御対象装置が実行する処理との対応を示す第１操作用画像を表示部に表示させると共に、該第１操作用画像に従って行われるユーザの入力操作を検出し、検出した入力操作に対応する処理を上記制御対象装置に実行させる処理実行指示装置であって、外部の通信端末装置と無線通信を行うための無線通信部と、上記第１操作用画像と同じ内容を含む第２操作用画像を、上記無線通信部を介して上記通信端末装置に送信する画像送信手段と、上記通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示手段とを備えていることを特徴としている。

本発明に係る処理実行指示装置の制御方法は、上記課題を解決するために、入力操作と該入力操作によって制御対象装置が実行する処理との対応を示す第１操作用画像を表示部に表示させると共に、該第１操作用画像に従って行われるユーザの入力操作を検出し、検出した入力操作に対応する処理を上記制御対象装置に実行させる処理実行指示装置の制御方法であって、上記第１操作用画像と同じ内容を含む第２操作用画像を、外部の通信端末装置と無線通信を行うための無線通信部を介して通信端末装置に送信する画像送信ステップと、上記通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示ステップとを含むことを特徴としている。

上記の構成によれば、第１操作用画像と同じ内容を含む第２操作用画像が、通信端末装置に送信される。そして、通信端末装置から操作データを受信したときには、受信した操作データに応じた処理を制御対象装置に実行させるようになっている。なお、第１操作用画像と第２操作用画像とは、同じ内容、すなわち、同じ処理を制御対象装置に実行させることができるものであればよく、全く同じ画像であってもよいし、異なる画像であってもよい。

したがって、受信した第２操作用画像を表示し、該第２操作用画像に従って当該通信端末装置に対して行われるユーザの入力操作を検出し、検出した入力操作を示す操作データを処理実行指示装置に送信する通信端末装置を用いることにより、ユーザは、処理実行指示装置の表示部に表示されている第１操作用画像を見ながら処理実行指示装置で制御対象装置を操作するときと同じ感覚で、通信端末装置に表示された第２操作用画像を見ながら通信端末装置で制御対象装置を遠隔操作することができる。

なお、受信した操作データに応じた処理を制御対象装置に実行させる方法は、どのような操作データが送信されるかに依存する。

例えば、操作データが、通信端末装置に対する入力操作の内容を示すものである場合には、受信した操作データをそのまま制御対象装置に送信するようにしてもよい。この場合には、制御対象装置において、入力操作の内容に応じた制御信号の生成が行われる。

また、操作データが、通信端末装置に対する入力操作の内容を示すものである場合には、処理実行指示装置において、入力操作の内容に応じた制御信号の生成を行うようにしてもよい。この場合には、制御対象装置が入力操作の内容の解釈を行う必要がないので、多種多様な制御対象装置の遠隔操作を実現しやすくなる。

そして、例えば、操作データが、制御対象装置に所定の処理を実行させる制御信号を示すものである場合には、処理実行指示装置は、受信した操作データをそのまま制御対象装置に送信すればよい。

上記のように、受信した操作データに応じた処理を制御対象装置に実行させる方法は、様々考えられるが、上記処理実行指示手段は、上記通信端末装置に対するユーザの入力操作の内容と、該内容に対応する処理を上記制御対象装置に実行させる制御信号とが対応付けられた通信端末用制御信号決定用データを用いて決定した制御信号を送信して、上記処理を上記制御対象装置に実行させることが好ましい。

上記の構成によれば、処理実行指示装置において、通信端末装置に対する入力操作の内容を解釈して制御信号を生成し、制御対象装置を動作させるようになっている。このため、通信端末装置では、自装置に対する入力操作をそのまま処理実行指示装置に送信すればよい。このように、通信端末装置の処理の負担を軽減することにより、多種多様な通信端末装置による遠隔操作を実現しやすくなる。

上記表示部は、画像を表示する画像表示面に対する接触を検出して、該画像表示面上における接触位置を出力する機能をさらに有し、上記処理実行指示手段は、上記画像表示面上に設定された領域と該領域に対応する制御信号とを示す自装置用制御信号決定用データを用い、上記表示部が出力する接触位置を含む領域に対応付けられた制御信号を送信して、上記制御対象装置に上記処理を実行させることが好ましい。

上記の構成によれば、ユーザは、画像表示面に表示されている第１操作用画像を見ながら、当該画像表示面に触れることにより、制御対象装置に所望の処理を実行させることができる。よって、ユーザは、直感的な操作で制御対象装置に所望の処理を実行させることができる。

なお、上記の構成は、例えば上記特許文献１〜４のように、透明なタッチパッドと、該タッチパッドの背面に配置された表示装置とによって実現することもできるし、像の検知機能を備えた表示装置（例えば光センサ内蔵液晶表示装置）を用いることによって実現することもできる。

また、上記処理実行指示装置は、上記通信端末装置が表示可能な画像サイズを示す機器情報を取得する機器情報取得手段を備え、上記画像送信手段は、上記機器情報取得手段が取得した機器情報が示す画像サイズの第２操作用画像を上記通信端末装置に送信することが好ましい。

上記の構成によれば、通信端末装置が表示可能な画像サイズの第２操作用画像が送信されるので、処理実行指示装置の表示部に表示可能な画像サイズと、通信端末装置が表示可能な画像サイズとが異なっている場合であっても、通信端末装置において第２操作用画像を良好に表示させることができる。

また、上記操作データは、上記通信端末装置の画像表示面上の位置を示す座標データであり、上記処理実行指示手段は、上記自装置用制御信号決定用データに示される領域のうち、上記第２操作用画像の画像サイズの上記第１操作用画像の画像サイズに対する拡大または縮小倍率の逆数を上記座標データに乗じた補正座標データが含まれる領域に対応付けられた制御信号を上記制御対象装置に送信するか、または、上記第２操作用画像の画像サイズの上記第１操作用画像の画像サイズに対する拡大または縮小倍率を上記自装置用制御信号決定用データの上記領域に乗じた補正制御信号決定データにおいて、上記座標データが示す位置が含まれる領域に対応付けられた制御信号を上記制御対象装置に送信することが好ましい。

ここで、第１操作用画像のサイズと第２操作用画像のサイズとが同じである場合に、操作データとして座標データを受信したときには、処理実行指示装置は、受信した座標データをそのまま用いることによって、第１操作用画像のどの位置（座標）に対して入力操作が行われたかを検知することができる。

しかし、第１操作用画像のサイズと第２操作用画像のサイズとが異なっている場合には、受信した座標データをそのまま用いるだけでは、処理実行指示装置は、第１操作用画像のどの位置（座標）に対して入力操作が行われたかを検知することができない。つまり、この場合には、座標データまたは自装置用制御信号決定用データの何れかを、第１操作用画像と第２操作用画像とのサイズ差をキャンセルするように補正する必要がある。

そこで、上記の構成によれば、座標データまたは自装置用制御信号決定用データに規定される領域を、操作用画像の拡大または縮小倍率に応じて拡大または縮小する補正を行っている。

これにより、第１操作用画像のサイズと第２操作用画像のサイズとが異なっている場合であっても、通信端末装置は、操作データとして座標データを送信するだけで、制御対象装置に所定の処理を実行させることができる。

また、上記の構成によれば、通信端末装置で入力操作を行う場合であっても、処理実行指示装置で入力操作を行う場合であっても、制御対象装置に送信される制御信号は、自装置用制御信号決定用データに規定されるものが用いられる。したがって、制御対象装置側において、通信端末装置からの入力操作があったときと、処理実行指示装置からの入力操作があったときとを区別して処理を行う必要もない。

また、上記処理実行指示装置は、自装置と上記無線通信部を介して通信可能な通信端末装置を検出する機器検索手段を備え、上記画像送信手段は、上記機器検索手段が検出した通信端末装置に上記第２操作用画像を送信することが好ましい。

上記の構成によれば、無線通信部を介して通信可能な通信端末装置に第２操作用画像が送信される。したがって、通信端末装置のユーザは、該通信端末装置を、処理実行指示装置と無線通信部を介して通信可能な状態とするだけで、該通信端末装置にて処理実行指示装置を遠隔操作することができるようになる。

この場合には、無線通信部が、Ｂｌｕｅｔｏｏｔｈ等の比較的通信可能範囲の狭い通信手段であることが好ましい。無線通信部が、通信可能範囲の狭い通信手段であることにより、通信端末装置を所持しているユーザが、処理実行指示装置に近付いたときにのみ、制御対象装置を遠隔操作することが可能になる。

また、上記処理実行指示装置は、上記画像送信手段が上記第２操作用画像を送信した後に、上記第１操作用画像とは異なる、入力操作と該入力操作によって上記制御対象装置が実行する処理との対応を示す第３操作用画像を上記表示部に表示する画像変更手段を備えていることが好ましい。

上述のように処理実行指示装置は、第１操作用画像を表示部に表示すると共に、第２操作用画像を通信端末装置に送信して表示させる。したがって、第２操作用画像を通信端末装置に送信した後には、処理実行指示装置の表示部にも、通信端末装置にも同じ内容の画像が表示される。

このように、２つの装置に同じ内容の画像を表示することは、２つの装置のそれぞれに対して別のユーザが入力操作を行う場合には有用であるが、ユーザが１人である場合には２つの装置に同じ内容の画像を表示する必要はない。

そこで、上記の構成によれば、第２操作用画像を通信端末装置に送信した後には、処理実行指示装置の表示部に第３操作用画像を表示するようにしている。この第３操作用画像は、第１及び第２操作用画像とは異なる画像であり、第１及び第２操作用画像とは異なる入力操作と、該入力操作によって制御対象装置が実行する処理との対応を示す画像である。

したがって、上記の構成によれば、ユーザは、通信端末装置と処理実行指示装置とでそれぞれ異なる入力操作を行うことができる。これにより、制御対象装置に対して多様な入力操作を行うことが可能になる。

例えば、処理実行指示装置において、文字入力を行うための第３操作用画像（例えばキーボードの画像）を表示させ、通信端末装置において、数字入力を行うための第２操作用画像（例えばテンキーの画像）を表示させることもできる。

また、第３操作用画像は、例えば、通信端末装置による遠隔操作を終了させて、処理実行指示装置に対する入力操作のみで制御対象装置が動作するようにする処理を実行させる入力操作を示す画像であってもよい。

なお、第３操作用画像は、第１及び第２操作用画像とは異なる入力操作と、該入力操作によって制御対象装置が実行する処理との対応を示す画像であればよく、これらの例に限られない。

また、上記処理実行指示装置は、上記無線通信部を介した通信の通信強度を検出する通信強度検出手段を備え、上記通信強度検出手段が検出した通信強度が、予め定めた強度以下となったときに、上記表示部の表示輝度を上記第２操作用画像の送信前より低く設定するか、または上記表示部を非表示状態とする省電力制御手段を備えていることが好ましい。

上述のように、通信端末装置を用いた場合には、制御対象装置を遠隔操作することが可能である。このため、ユーザは、処理実行指示装置から離れた位置で通信端末装置を用いて制御対象装置を遠隔操作することができる。

ここで、処理実行指示装置から離れた位置で通信端末装置を用いて制御対象装置を遠隔操作する場合には、ユーザが、処理実行指示装置の表示部を見ることができないことも考えられる。つまり、この場合には、処理実行指示装置の表示部は、ユーザが見ることのない画像を無駄に表示し続けていることになる。

そこで、上記の構成によれば、通信強度が予め定めた強度以下となったときに、表示部の表示輝度を第２操作用画像の送信前より低く設定するか、または表示部を非表示状態にする構成としている。

ここで、通信強度の低下は、処理実行指示装置と通信端末装置との距離が開いたことを示す。また、表示輝度を下げるか、または非表示状態とすることによって、表示部で消費される電力は、通常の表示状態（第２操作用画像の送信前の状態）と比べて低くなる。

したがって、上記の構成によれば、通信端末装置のユーザが、処理実行指示装置から離れることによって、処理実行指示装置の表示部を見ることができなくなったような場合に、表示部において無駄に電力が消費されることを防ぐことができる。

また、上記処理実行指示装置は、上記画像送信手段が上記第２操作用画像を送信した後に、上記表示部の表示輝度を上記第２操作用画像の送信前より低く設定するか、または上記表示部を非表示状態とする省電力制御手段を備えていてもよい。

上述のように、処理実行指示装置と通信端末装置とに同じ内容の画像（第１操作用画像と第２操作用画像）を表示することは、２つの装置のそれぞれに対して別のユーザが入力操作を行う場合には有効であるが、ユーザが１人である場合には２つの装置に同じ内容の画像を表示する必要はない。

そこで、上記の構成によれば、画像送信手段が第２操作用画像を送信した後に、表示部の表示輝度を第２操作用画像の送信前より低く設定するか、または表示部を非表示状態にするようにしている。これにより、表示部において無駄に電力が消費されることを防ぐことができる。

ここで、表示部の表示輝度を第２操作用画像の送信前より低く設定するか、または表示部を非表示状態にするときに、処理実行指示装置における入力操作の検出も停止することにより、消費電力をさらに低減することができる。

ただし、この場合には、ユーザが通信端末装置による遠隔操作を終了して、再度処理実行指示装置に対する入力操作を行おうとするときに、処理実行指示装置における入力操作の検出を再開させるための構成が必要になる。

そこで、上記省電力制御手段は、上記通信端末装置から、所定の操作データを受信したときに、上記表示部を上記第２操作用画像の送信前の表示状態に戻すことが好ましい。

上記の構成によれば、通信端末装置に対する入力操作によって、表示部を上記第２操作用画像の送信前の表示状態に戻すこと、つまり、省電力状態から通常の状態に戻すことができる。

したがって、例えば表示部の表示輝度を第２操作用画像の送信前より低く設定するか、または表示部を非表示状態にするときに、処理実行指示装置における入力操作の検出も停止した場合であっても、通信端末装置に対する入力操作によって、処理実行指示装置における入力操作の検出を再開させることができる。

また、上記処理実行指示装置と、上記制御対象装置とが有線接続されてなる電子機器であれば、上記処理実行指示装置と同様の効果を奏する。

なお、上記処理実行指示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記処理実行指示装置の各手段として動作させることにより、上記処理実行指示装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る処理実行指示装置は、外部の通信端末装置と無線通信を行うための無線通信部と、第１操作用画像と同じ内容を含む第２操作用画像を、上記無線通信部を介して通信端末装置に送信する画像送信手段と、上記通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示手段とを備えている構成である。

また、本発明に係る処理実行指示装置の制御方法は、以上のように、第１操作用画像と同じ内容を含む第２操作用画像を、外部の通信端末装置と無線通信を行うための無線通信部を介して通信端末装置に送信する画像送信ステップと、通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示ステップとを含む構成である。

したがって、ユーザは、処理実行指示装置にて制御対象装置に入力操作を行うときと、通信端末装置で制御対象装置を遠隔操作するときとで、同じ内容を含む操作用画像を見ながら入力操作を行うことができる。この結果、遠隔操作を行うときにも違和感なく入力操作を行うことができるという効果を奏する。

本発明の一実施形態について図１から図２０に基づいて説明すると以下の通りである。

〔発明の概要〕
まず、ここでは、本発明の概要について、図１７に基づいて説明する。図１７は、本実施形態に係る２画面表示装置（電子機器）２００及び通信端末装置４００の動作の一例を示す図である。

図示のように、２画面表示装置２００は、ノートＰＣ（Personal Computer）であって、メイン表示装置（制御対象装置）２１０とセンサ付きサブ表示装置（処理実行指示装置）２３０とを備えている。詳細については後述するが、センサ付きサブ表示装置２３０は、メイン表示装置２１０のタッチパネル部分を別装置として構成したものである。

つまり、２画面表示装置２００は、センサ付きサブ表示装置２３０に表示されている操作用画像に従って、センサ付きサブ表示装置２３０の表示画面に触れることによって、メイン表示装置２１０を操作することができるようになっている。なお、メイン表示装置２１０は、センサ付きサブ表示装置２３０への入力操作によって動作するものであればよく、ノートＰＣに限られない。

通信端末装置４００は、第１の機能として、画像を表示する機能と、自装置に対するユーザの入力操作を検出する機能と、センサ付きサブ表示装置２３０と無線通信する機能とを備えている。これらの第１の機能によって、通信端末装置４００は２画面表示装置２００を遠隔操作するリモコンとして機能することになる。

また、通信端末装置４００は、上記第１の機能に加えて第２の機能を備えている。ここでは、上記第２の機能が、携帯電話機としての機能である例について説明する。つまり、通信端末装置４００は、２画面表示装置２００を遠隔操作するリモコンとして機能していないときには、携帯電話網を介して他の電話端末と通話やメールの送受信を行う携帯電話機として機能する。

なお、通信端末装置４００は、少なくとも上記第１の機能を備えていればよく、上記第２の機能は、どのようなものであってもよい。例えば、通信端末装置４００は、上記第２の機能として、ＰＤＡ（Personal Digital Assistance）としての機能や、電子辞書としての機能、ゲーム機としての機能等を備えていてもよい。

図示のように、通信端末装置４００は、２画面表示装置２００から一定以上離れた位置にあるときには、携帯電話機として機能するが、通信端末装置４００を２画面表示装置２００に近付けると、操作用画像がセンサ付きサブ表示装置２３０から通信端末装置４００に送信される。

これにより、通信端末装置４００においてもセンサ付きサブ表示装置２３０と同様に、メイン表示装置２１０に入力操作を行うための操作用画像が表示されると共に、操作用画像に従って通信端末装置４００に入力操作を行うことにより、メイン表示装置２１０を遠隔操作することができるようになる。

このように、メイン表示装置２１０を操作するための操作用画像を表示しているセンサ付きサブ表示装置２３０が、通信端末装置４００がメイン表示装置２１０を操作するための操作用画像を送信することにより、センサ付きサブ表示装置２３０と通信端末装置４００とで、操作用画像を共通化することができる。

したがって、通信端末装置４００のユーザは、センサ付きサブ表示装置２３０で入力操作を行っていたときと同じ感覚で、通信端末装置４００を用いてメイン表示装置２１０の入力操作を行うことができる。

また、この構成によれば、メイン表示装置２１０を動作させるコマンドは、センサ付きサブ表示装置２３０に対して入力操作を行う場合であっても、通信端末装置４００に対して入力操作を行う場合であっても、センサ付きサブ表示装置２３０からメイン表示装置２１０に送信される。

したがって、通信端末装置４００を用いた操作に対応するための構成をメイン表示装置２１０に設ける必要がない。つまり、従来の一般的なノートＰＣの構成をそのままメイン表示装置２１０として適用することが可能である。

〔２画面表示装置の概要〕
２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０に、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０が装着された装置である。

メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。

なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。

図２を参照しながら、２画面表示装置２００の具体例について説明する。図２は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を備える、ノートＰＣ（Personal Computer）を想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるＰＤＡ（Personal Digital Assistant）などとして動作することもできる。

〔センサ内蔵液晶パネルの概要〕
上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。

図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

〔メイン表示装置および光センサ付きサブ表示装置の要部構成〕
次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。

〔光センサ付きサブ表示装置の要部構成〕
まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部９３３、有線通信部９３４、近距離無線通信部（無線通信部）９３５、電界強度検出部（通信強度検出手段）９３６、バッテリー９３７、および電源切替部９３８を備えている。

表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。

次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。

次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。

次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。

サブ側主制御部８３０にて実行されるアプリケーションプログラム（以下、単にサブ側主制御部８３０と表記する）は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。

また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。

まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行わせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換とは、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行われる。

なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。

次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行わせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。

次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。

上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理などの、センサ付きサブ表示装置２３０が有する各種アプリケーション（ミドルウェアを含む）の実行処理である。

さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーション（ミドルウェアを含む）の実行処理である。

なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９３１は、サブ側主制御部８３０が実行するプログラムおよびデータを格納するものである。なお、サブ側主制御部８３０が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行うための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行うための近距離無線通信部９３５を制御するものである。

すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。

有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。

そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。

近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行うことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行えるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。

次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。

次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備えるの各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。

〔メイン表示装置の要部構成〕
次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。

表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。

次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。

メイン側主制御部８１０にて実行されるアプリケーションプログラム（以下、単にメイン側主制御部８１０と表記する）は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。

また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ミドルウェアを含む各種アプリケーション）を実行する。

なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。

次に、記憶部９１１は、メイン側主制御部８１０が実行するプログラムおよびデータを格納するものである。なお、メイン側主制御部８１０が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行うための有線通信部９１４、並びに、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行うための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行うための有線／無線ネットワーク通信部９１６を制御するものである。

すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。

有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっている。上述したように、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。

近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。上述したように、ここでは、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行うことのできる通信部である。

有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行うものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

電源９１７は、メイン表示装置２１０が備えるの各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。

次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。

なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。

その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。

〔光センサ付きサブ表示装置の詳細な構成〕
次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。

まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。

表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

〔メイン表示装置の詳細な構成〕
上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。

表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。

周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。

次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。

液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。

バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。

〔サブ表示装置内コマンド〕
次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。

「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。

また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。

また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、サブ側主制御部８３０にて実行されるアプリケーションは、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

〔装置間コマンド〕
次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。

「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。

次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。

コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行わせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。

また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行わせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。

また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理（アプリケーションやミドルウェア）を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。

次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。

次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。

図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。

なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。

また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。

また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。

次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。

図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。

次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。

表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。

表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。

次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。

処理コマンドの第１フィールド（実行処理種別）は、相手側に実行させるアプリケーション（ミドルウェアを含む）の識別情報を指定するフィールドである。アプリケーションが識別可能であれば、どのような値であってもよい。

処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定したアプリケーションが、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。

処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定したアプリケーションが、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。起動時に用いる情報とは、例えば、アプリケーションの動作モードや、アプリケーションの表示領域などを指定するパラメータなどが挙げられる。また、起動後に用いる情報とは、例えば、文字認識アプリケーションが文字認識する対象の画像データや、ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。

〔全体画像データ／部分画像データ／座標データ〕
次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図１５（ｂ）に示す画像データでは、図１５（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

〔センサ内蔵液晶パネルの構成〕
次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

次に、センサ付きサブ表示装置２３０及び通信端末装置４００の詳細な構成について、図１に基づいて説明する。図１は、センサ付きサブ表示装置２３０及び通信端末装置４００の要部構成を示すブロック図である。

〔センサ付きサブ表示装置２３０の主制御部の詳細な構成〕
図示のように、センサ付きサブ表示装置２３０の主制御部であるサブ側主制御部８３０には、機器検索部（機器検索手段）１、機器情報取得部（機器情報取得手段）２、画像送信部（画像送信手段）３、処理コマンド生成部（処理実行指示手段）４、表示処理部（画像変更手段、省電力制御手段）５、及びスキャン処理部７が含まれている。

機器検索部１は、近距離無線通信部９３５を介して通信可能な外部装置を検索する。具体的には、機器検索部１は、まず機器検索を行って、自装置と通信可能な外部装置を検出する。次に、機器検索部１は、電界強度検出部９３６に指示して、上記検出された外部装置の電界強度を検出させる。続いて、機器検索部１は、電界強度を検出した外部装置のうち、電界強度が所定値以上である外部装置に対して、応答要求を送信する。そして、機器検索部１は、送信した応答要求に対する応答の有無を確認することによって、近距離無線通信部９３５を介して通信可能な外部装置が存在するか否かを判断する。なお、外部装置とは、例えば通信端末装置４００である。

また、機器検索部１は、近距離無線通信部９３５を介して通信可能な外部装置が存在すると判断したときに、該外部装置と通信接続を確立する。具体的には、機器検索部１は、まず、検出した外部装置に対して、接続要求を送信する。そして、この接続要求を受信した外部装置が、接続許可をセンサ付きサブ表示装置２３０に送信することにより、センサ付きサブ表示装置２３０と外部装置との近距離無線通信部９３５を介した通信接続が確立される。

機器情報取得部２は、近距離無線通信部９３５を介した通信接続が確立された外部装置の機器情報を取得する。具体的には、機器情報取得部２は、近距離無線通信部９３５を介した通信接続が確立された外部装置に対して機器情報要求を送信し、この機器情報要求に対して返信される機器情報を取得する。機器情報は、外部装置が画像を表示するときの表示条件等を含む情報であり、例えば表示可能な画像サイズや表示色数等がこの機器情報となる。

ここでは、下記の表１に示すようなデータを機器情報として用いることを想定している。表１は、機器情報の一例を示す表である。

表１の機器情報には、外部装置が表示可能な画像サイズ、表示色数、及び外部装置の入力操作の方式を示す情報が含まれている。これにより、外部装置の表示可能な画像サイズ、表示色数、及び外部装置の入力操作の方式に合わせた画像を外部装置に送信して表示させることが可能になる。

表１の例では、表示可能な画像サイズがＱＶＧＡ（Quarter Video Graphics Array）の２４０×３２０となっており、表示色数が２５６色となっているので、縦２４０画素×横３２０画素で表示色数が２５６の画像が外部装置に送信されることになる。また、表１の例では、入力方式がタッチパネルとなっているので、タッチパネル操作用の画像が外部装置に送信されることになる。センサ付きサブ表示装置２３０にもタッチパネル操作用の画像が表示されるので、外部装置に送信される画像と、センサ付きサブ表示装置２３０が表示する画像とは、サイズ及び表示色数を除けば同様のものとなる。

なお、機器情報は、センサ付きサブ表示装置２３０が、少なくとも外部装置の表示可能な画像サイズを認識できるものであればよく、上記の例に限られない。例えば、機器情報は、表示可能な画像サイズのみを含むデータであってもよい。また、例えば機器情報は、外部装置の機種を示す情報であってもよい。ただし、この場合には、機種と該機種が備える表示装置が表示可能な画像サイズとが対応付けられたデータを予めセンサ付きサブ表示装置２３０に格納しておく必要がある。

画像送信部３は、機器情報取得部２が取得した機器情報に基づき、センサ付きサブ表示装置２３０の表示部であるセンサ内蔵液晶パネル３０１に表示されている画像を再構築して外部装置に送信する。これにより、外部装置にセンサ内蔵液晶パネル３０１と同じ画像が表示される。

このように、センサ付きサブ表示装置２３０では、機器情報取得部２が取得した機器情報に応じた画像を送信するので、センサ内蔵液晶パネル３０１に表示されている操作用画像を外部装置において良好に表示させることができる。

すなわち、センサ付きサブ表示装置２３０と外部装置とは、別個の装置であるから、表示部の表示条件が異なる場合が多いと考えられる。このため、センサ内蔵液晶パネル３０１に表示させるための画像をそのまま外部装置に送信した場合には、この表示条件の違いから、外部装置において画像が正常に表示されない可能性がある。

そこで、センサ付きサブ表示装置２３０では、外部装置の機器情報に基づいて、外部装置で表示させるための画像を生成するようにしている。これにより、種類や機種を問わず、様々な外部装置に、センサ内蔵液晶パネル３０１に表示されている操作用画像を良好に表示させることができる。

〔画像の生成について〕
ここで、画像送信部３が、機器情報に基づいて画像を生成する具体例について説明する。

例えば、機器情報が、画像サイズと表示色数であった場合には、画像送信部３は、これをセンサ内蔵液晶パネル３０１が表示可能な画像サイズ及び表示色数と比較する。そして、画像サイズが異なっている場合には、画像送信部３は、センサ内蔵液晶パネル３０１に表示されている画像を、機器情報が示す画像サイズに合わせて縮小、またはトリミングする。また、表示色数が異なっている場合には、画像送信部３は、センサ内蔵液晶パネル３０１に表示されている画像の表示色数を機器情報が示す表示色数に合わせて減少させる。

なお、センサ内蔵液晶パネル３０１の表示可能な画像サイズよりも、機器情報が示す画像サイズが大きい場合には、画像の大きさを変えなくてもよいし、外部装置の画面サイズに合わせて画像を引き伸ばしてもよい。また、センサ内蔵液晶パネル３０１の表示色数よりも、機器情報が示す表示色数が多い場合には、表示色数は変えない。

ここで、外部装置の入力方式が、表１の例のようにタッチパネルである場合には、センサ付きサブ表示装置２３０の入力方式もタッチパネルであるから、画像サイズと表示色数とを合わせるのみでよい。

しかしながら、外部装置の入力方式が、センサ付きサブ表示装置２３０と異なっている場合（例えば、キー入力である場合）には、外部装置において、センサ付きサブ表示装置２３０と画像サイズ及び表示色数を合わせた画像を表示したときに、ユーザが、どの操作キーがどの処理に対応しているかを認識することが困難となることも考えられる。

そこで、画像送信部３は、外部装置の入力方式が、センサ付きサブ表示装置２３０と異なっている場合には、外部装置においてユーザの入力を補助するためのガイド情報を組み込んだ画像を生成する。例えば、外部装置の入力方式がキー入力である場合には、操作キーと、該操作キーを操作したときに、メイン表示装置２１０が実行する処理との対応を示すガイド情報を組み込むことが考えられる。

ここで、ガイド情報を組み込んだ画像を送信したときに、外部装置で表示される画像の一例について図１８に基づいて説明する。図１８は、操作部４０３がキー入力方式の通信端末装置４００’において表示される操作用画像の一例を示す図である。なお、通信端末装置４００’は、操作部４０３がキー入力方式である以外は、通信端末装置４００と同様の構成を備えている。

図示のように、通信端末装置４００’の表示部４０５には、図１の例と同様の操作用画像が表示されていると共に、ガイド情報ｇ１〜ｇ４が表示されている。より詳細には、表示部４０５の中央の左側には、動画像の早戻しを示す画像と共に、「４」の数字を表示するガイド情報ｇ１が表示されており、表示部４０５の中央の上側には、動画像の再生停止を示す画像と共に、「２」の数字を表示するガイド情報ｇ２が表示されており、表示部４０５の中央の右側には、動画像の早送りを示す画像と共に、「６」の数字を表示するガイド情報ｇ３が表示されており、表示部４０５の中央の下側には、動画像の再生開始を示す画像と共に、「８」の数字を表示するガイド情報ｇ４が表示されている。

これらガイド情報ｇ１〜ｇ４は、操作部４０３の操作キーを示している。すなわち、図示の例では、ガイド情報ｇ２が表示されていることにより、ユーザは、操作部４０３の「２」の数字が付された操作キーを押下することにより、メイン表示装置２１０において動画像の再生が停止されることを認識することができる。同様に、ガイド情報ｇ２〜ｇ４が表示されていることにより、ユーザはどの操作キーによってどのような処理が行われるかを容易に認識することができる。

なお、ここでは、画像送信部３が、画像の再構築を行う例について説明するが、表示可能な画像サイズや入力方式は、外部装置の種類と機種とに応じて予め決まっている。したがって、外部装置の機種ごとに作成した操作用画像を予め記憶部９３１に格納しておき、画像送信部３が、記憶部９３１に格納されている操作用画像の中から、受信した機器情報に基づいて選択した操作用画像を送信するようにしてもよい。

また、センサ内蔵液晶パネル３０１に表示されている画像をそのまま外部装置に送信し、外部装置において画像を再構築して表示するようにすることも可能である。しかしながら、センサ付きサブ表示装置２３０にて画像を生成する上記の構成の方が、外部装置の負荷が軽減されるので好ましい。

処理コマンド生成部４は、センサ付きサブ表示装置２３０に対する入力操作に対応付けられたコマンドをメイン表示装置２１０に送信して動作させる。具体的には、処理コマンド生成部４は、センサ内蔵液晶パネル３０１に入力操作が行われたときにスキャン処理部７から送られる座標と、センサ内蔵液晶パネル３０１上に設定された領域と該領域に対応するコマンドとを示すコマンド決定用データとに基づいて決定したコマンドをメイン表示装置２１０に送信する。

コマンド決定用データは、例えば下記の表２のようなデータとすることもできる。表２は、コマンド決定用データの一例を示している。表２の例のコマンド決定用データでは、領域番号と、センサ内蔵液晶パネル３０１上の領域を示すデータ（座標の範囲）と、コマンドとが対応付けられている。このため、処理コマンド生成部４は、表２のコマンド決定用データを用いて、スキャン処理部７から送られる座標がどの領域に含まれているかを確認することによって、コマンドを決定することができる。

コマンド決定用データは、操作用画像ごとに作成したものを予め記憶部９３１に格納しておき、処理コマンド生成部４は、センサ内蔵液晶パネル３０１に表示されている操作用画像に対応するコマンド決定用データを用いて、メイン表示装置２１０に送信する処理コマンド（第０フィールドの値が“010”のコマンド）を決定する。

また、処理コマンド生成部４は、外部装置から、該外部装置への入力操作の内容を示す操作データを受信したときに、受信した操作データに対応するコマンドを決定し、決定したコマンドをメイン表示装置２１０に送信して動作させる。なお、コマンドを決定する処理は、受信した操作データに応じて異なっている。

例えば、外部装置の操作部がタッチパネルやタッチパッド等である場合には、接触が検知された位置を示すデータ（座標等）が操作データとして送信される。そして、この場合には、処理コマンド生成部４は、外部装置から受信した機器情報に含まれる画像サイズに基づいて、コマンド決定用データ（表２参照）の座標範囲を、画像サイズの拡大または縮小倍率に合わせて拡大または縮小する補正を行う。そして、処理コマンド生成部４は、座標範囲を補正したコマンド決定用データと、外部装置から受信した操作データが示す位置とに基づいて決定したコマンドを生成する。例えば、画像サイズの拡大倍率が、縦ｍ倍、横ｎ倍である場合には、上記表２の例における領域番号１の領域は、（ｎ×ｘ１，ｍ×ｙ１）〜（ｎ×Ｘ１，ｍ×Ｙ１）となる。このように、操作用画像の拡大倍率をコマンド決定用データの領域を規定する座標値に乗じることによって、座標値を補正することができる。なお、ｘ１及びＸ１は外部装置の画像表示面における縦方向の位置を示し、ｙ１及びＹ１は横方向の位置を示すものとする。

また、処理コマンド生成部４は、受信した操作データが示す位置を、画像サイズの拡大または縮小倍率に合わせて補正し、補正後の位置とコマンド決定用データとに基づいてコマンドを決定してもよい。例えば、受信した操作データが（ｘ，ｙ）の座標であって、画像サイズの拡大倍率が、縦ｍ倍、横ｎ倍である場合には、（ｘ／ｍ，ｙ／ｎ）の座標が、コマンド決定用データのどの領域に含まれるかを確認し、この座標が含まれる領域に対応付けられたコマンドを決定する。このように、操作用画像の拡大倍率の逆数を座標値に乗じることによって、座標値を補正することができる。

さらに、例えば、図１８に示した通信端末装置４００’のように、外部装置の操作部がテンキー等のような操作キーで構成されている場合には、操作データとしてどの操作キーが操作されたかを示すデータが送信される。そして、この場合には、操作データが示す操作キーに対応するコマンドを生成する。なお、この場合には、操作用画像ごとに、操作キーとコマンドとが対応付けられたコマンド決定用データを予め記憶部９３１に格納しておく。

このように、処理コマンド生成部４は、受信した操作データに応じたコマンドを決定する処理を行うが、コマンドは、外部装置が決定してもよい。この場合には、外部装置は、自装置に対する入力操作と、該入力操作に対応するコマンドとを予め対応付けて記憶しておき、入力操作を検出したときに、該入力操作に対応するコマンドを、センサ付きサブ表示装置２３０またはメイン表示装置２１０に送信することになる。

しかしながら、外部装置がコマンドを決定するようにした場合には、メイン表示装置２１０のコマンドを予め記憶している外部装置でなければ、メイン表示装置２１０の遠隔操作を行うことができないというデメリットがある。このため、コマンドの決定は、処理コマンド生成部４が行うようにすることが好ましい。

表示処理部５は、センサ内蔵液晶パネル３０１に画像を表示する処理を行う。具体的には、センサ付きサブ表示装置２３０にてメイン表示装置２１０の入力操作を行うときには、操作用画像がメイン表示装置２１０からセンサ付きサブ表示装置２３０に送信されるので、表示処理部５は、これをセンサ内蔵液晶パネル３０１に表示させる。

より詳細には、センサ付きサブ表示装置２３０にてメイン表示装置２１０の入力操作を行うときには、メイン表示装置２１０からセンサ付きサブ表示装置２３０に、操作用画像を含む「表示コマンド」が送信される。つまり、「第０」フィールドの値が“001”であり、「第１」フィールドの値が“001”であり、「第２」フィールドの値が“操作用画像のデータと、そのセンサ内蔵液晶パネル３０１上の表示位置を示すデータ”であるコマンドが送信される。表示処理部５は、この表示コマンドに従って、表示／光センサ部３３０に指示を送り、操作用画像をセンサ内蔵液晶パネル３０１に表示させる。

また、詳細については後述するが、表示処理部５は、センサ内蔵液晶パネル３０１に表示する操作用画像を変更したり、電界強度検出部９３６が検出する電界強度に応じて、表示／光センサ部３３０を省電力モードに切り替えたりする処理も行う。

スキャン処理部７は、センサ内蔵液晶パネル３０１に像を検知させて取得した検知結果を処理コマンド生成部４に出力する。具体的には、スキャン処理部７は、「データ取得タイミング」フィールドの値を“イベント”とし、「データ種別」フィールドを“001”（座標）としたコマンドをデータ処理部７３０に送信する。これにより、データ処理部７３０は、表示／光センサ回路制御部６３０から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、所定の閾値より大きい変化が生じた座標を主制御部８００に送信する。そして、スキャン処理部７は、この座標を受け取って、処理コマンド生成部４に転送する。そして、上記のように、座標を受け取った処理コマンド生成部４は、座標に応じたコマンドを生成してメイン表示装置２１０に送信する。

〔通信端末装置４００の詳細な構成〕
通信端末装置４００は、図示のように、ネットワーク通信部４０１、通信制御部４０２、操作部４０３、近距離無線通信部４０４、表示部４０５、記憶部４０６、一次記憶部４０７、及び端末側主制御部４０８を備えており、端末側主制御部４０８は、接続処理部２１、機器情報送信部２２、操作データ送信部２３、及び表示処理部２４を備えている。

ネットワーク通信部４０１は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行うものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

通信制御部４０２は、センサ付きサブ表示装置２３０と通信を行うための近距離無線通信部４０４、及びネットワークに接続する外部装置（図示せず）と通信を行うためのネットワーク通信部４０１を制御するものである。すなわち、通信制御部４０２は、近距離無線通信部４０４またはネットワーク通信部４０１を介して、外部装置との間で各種データをやりとりする。

操作部４０３は、通信端末装置４００に入力操作を行うための入力装置である。具体的には、操作部４０３は、入力操作を受け付けて、受け付けた入力操作に対応する操作信号を端末側主制御部４０８に出力する。操作部４０３は、例えば入力キー等によって入力操作を受け付けるものであってもよいが、表示部４０５に対する接触を入力操作として検出する、タッチパネルであることが好ましい。

近距離無線通信部４０４は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、及び、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。ここでは、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部４０４は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行うことのできる通信部である。なお、近距離無線通信部４０４は、センサ付きサブ表示装置２３０と通信可能なものであればよく、センサ付きサブ表示装置２３０の通信態様に合わせて、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。

表示部４０５は、データを表示する表示装置であり、液晶表示パネル、ＥＬ表示パネル等、任意の表示装置を適用することができる。表示部４０５の表示可能な画像サイズ、表示色等の情報は、機器情報として記憶部４０６に格納されている。

記憶部４０６は、端末側主制御部４０８が実行するプログラムおよびデータを格納する。なお、端末側主制御部４０８が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

端末側主制御部４０８は、記憶部４０６に格納されているアプリケーションプログラムを、例えばＲＡＭ等で構成される一次記憶部４０７に読み出して実行する。端末側主制御部４０８は、ＣＰＵ及びメモリ等で構成することができる。

接続処理部２１は、接続要求の受信を確認したときに、該接続要求の送信元の装置と接続処理を行って近距離無線通信部４０４を介した通信接続を確立する。また、機器情報送信部２２は、機器情報要求を受信したときに、記憶部４０６から機器情報を読み出して、当該機器情報要求の送信元の装置に送信する。

操作データ送信部２３は、操作部４０３に対して行われた入力操作の内容を示す操作データをセンサ付きサブ表示装置２３０に送信する。上述のように、センサ付きサブ表示装置２３０は、受信した操作データに基づいてメイン表示装置２１０に送信するコマンドを決定する。このため、操作データ送信部２３は、操作部４０３に対して行われた入力操作の内容を解釈してコマンドを生成する必要がない。

表示処理部２４は、センサ付きサブ表示装置２３０から受信した画像、すなわちメイン表示装置２１０を遠隔操作するための操作用画像を表示部４０５に表示させる。上述のように、センサ付きサブ表示装置２３０が送信する操作用画像は、外部装置（例えば通信端末装置４００）の表示条件等に合わせて生成されたものである。このため、表示処理部２４は、受信した操作用画像をそのまま表示させればよく、受信した操作用画像の再構築を行う必要がない。

〔センサ付きサブ表示装置２３０が行う処理の流れ〕
続いて、センサ付きサブ表示装置２３０が行う処理の流れについて、図１９に基づいて説明する。図１９は、センサ付きサブ表示装置２３０が行う処理の一例を示すフローチャートである。

まず、表示処理部５は、有線通信部９３４を介してメイン表示装置２１０から送られてくる操作用画像を、データ処理部７３０に指示してセンサ内蔵液晶パネル３０１に表示させる（Ｓ１１）。そして、操作用画像の表示指示を行った表示処理部５は、その旨を機器検索部１に伝達する。

伝達を受けた機器検索部１は、機器検索を実行し（Ｓ１２）、外部装置（ここでは通信端末装置４００）が検出されたか否かを確認する（Ｓ１３）。具体的には、機器検索部１は、まず機器検索を行って、自装置と通信可能な外部装置を検出し、続いて電界強度検出部９３６に指示して、機器検索によって検出された外部装置の電界強度を検出させる。そして、機器検索部１は、電界強度を検出した外部装置のうち、電界強度が所定値以上である外部装置に対して、応答要求を送信し、送信した応答要求に対する応答の有無を確認することによって、外部装置が検出されたか否かを確認する。

つまり、ここで検出する外部装置は、自装置と近距離無線通信部９３５を介して通信可能な外部装置のうち、自装置から一定の距離の範囲内に存在する外部装置ということになり、自装置から一定以上離れた位置に存在する外部装置は検出対象としない。

ここで、外部装置の検出が確認されなかった場合（Ｓ１３でＮＯ）には、処理はＳ１２に戻り、機器検索部１は、再び機器検索を行う。このように、センサ付きサブ表示装置２３０は、操作用画像の表示開始をトリガとして機器検索を開始し、操作用画像を表示している間は、定期的に機器検索を行うようになっている。

一方、外部装置の検出が確認された場合（Ｓ１３でＹＥＳ）には、機器検索部１は、検出が確認された外部装置と接続処理を行う。具体的には、機器検出部１は、検出した外部装置に対して接続要求を送信し、当該外部装置から接続許可を受信して、通信接続を確立する（Ｓ１４）。なお、同図には示していないが、接続要求送信後、所定時間内に外部装置からの接続許可の受信が確認できない場合にはＳ１２の処理に戻る。

外部装置との通信接続が確立されると、機器検索部１はその旨を機器情報取得部２に伝達する。そして、伝達を受けた機器情報取得部２は、上記外部装置に機器情報要求を送信する。これにより、外部装置から機器情報が送信されるので、機器情報取得部２は、これを取得する（Ｓ１５）。そして、機器情報取得部２は、取得した機器情報を画像送信部３に送る。

機器情報を受け取った画像送信部３は、センサ内蔵液晶パネル３０１に表示されている操作用画像を、上記受け取った機器情報に応じて再構築する。そして、画像送信部は、再構築によって生成した画像を外部装置に送信する（Ｓ１６）。

外部装置は、上記のようにして生成された画像を受信して表示するので、外部装置の表示部には、センサ付きサブ表示装置２３０に表示されている操作用画像が、外部装置の表示部の機器情報に合った状態で表示される。これにより、外部装置のユーザは、センサ付きサブ表示装置２３０でメイン表示装置２１０の操作を行うときと同じ感覚で、外部装置でメイン表示装置２１０の操作を行うことができる。

ここで、センサ付きサブ表示装置２３０は、画像を外部装置に送信した後も、Ｓ１１で表示した操作用画像を表示し続けるようにしてもよい。しかしながら、センサ付きサブ表示装置２３０と外部装置とが近接している場合に、同じ内容の操作用画像を、センサ付きサブ表示装置２３０と外部装置とに表示させる必要はない。

そこで、表示処理部５は、画像が外部装置に送信されたことを確認すると、表示／光センサ部３３０を省電力モードに設定する（Ｓ１７）。なお、省電力モードとは、表示／光センサ部３３０の消費電力を、通常の動作時よりも低減させた状態を指す。

具体的には、省電力モードに設定された表示／光センサ部３３０は、センサ内蔵液晶パネル３０１の表示輝度を下げると共に、光センサ駆動回路３０５の駆動を停止させることによって、消費電力を低減させる。なお、省電力モードは、表示／光センサ部３３０の通常の動作時よりも、消費電力が少なくなるものであればよく、例えば省電力モードにおいてセンサ内蔵液晶パネル３０１の表示をオフにしてもよいし、光センサ駆動回路３０５の駆動を維持して表示輝度のみを低下させてもよい。

ここで、省電力モードにおいて、光センサ駆動回路３０５の駆動が停止されている間は、センサ内蔵液晶パネル３０１に触れて入力操作を行うことはできない。このため、ここでは、外部装置からの遠隔操作によって、センサ内蔵液晶パネル３０１に触れて入力操作を行うことができる状態に戻すことができるようにしている。

すなわち、センサ内蔵液晶パネル３０１に触れて入力操作を行うことができる状態に戻す処理に対応する操作データがセンサ付きサブ表示装置２３０において予め定義されており、この操作データを受信したときにセンサ内蔵液晶パネル３０１に触れて入力操作を行うことができる状態に戻す処理が行われる。

この場合には、外部装置において、どの入力操作がセンサ内蔵液晶パネル３０１に触れて入力操作を行うことができる状態に戻す処理に対応しているかをユーザが認識できるように、この処理に対応する入力操作を示す情報を操作用画像に合成して（または、この処理に対応する入力操作を示す情報を含む、予め作成された操作用画像を）外部装置に送信することが好ましい。

なお、どの入力操作がセンサ内蔵液晶パネル３０１に触れて入力操作を行うことができる状態に戻す処理に対応しているかを示す情報が合成された操作用画像は、上記Ｓ１６で送信するようにしてもよいし、省電力モードに設定されたときに送信するようにしてもよい。

ここで、上記画像が表示された外部装置に入力操作が行われたときには、入力操作の内容を示す操作データがセンサ付きサブ表示装置２３０に送信される。処理コマンド生成部４は、操作データの受信を待ち受け（Ｓ１８）、操作データの受信が確認された場合（Ｓ１８でＹＥＳ）には、受信した操作データに応じたコマンドを生成してメイン表示装置２１０に送信する（Ｓ１９）。なお、上述のように、処理コマンド生成部４がコマンドを生成する際の具体的な処理は、外部装置がどのような操作データを送信するかに依存する。

そして、生成したコマンドをメイン表示装置２１０に送信した後、または操作データの受信が確認されない場合（Ｓ１８でＮＯ）には、処理コマンド生成部４は、その旨を表示処理部５に伝達する。

伝達を受けた表示処理部５は、外部装置との近距離無線通信部９３５を介した通信が切断されたか否かを確認する（Ｓ２０）。具体的には、表示処理部５は、電界強度検出部９３６が取得した近距離無線通信部９３５を介した通信の電界強度が、データの送受信に耐えない程度に低い場合、または外部装置から遠隔操作を終了する旨の通知を受信したことが確認された場合に、通信が切断されたと判断する。

なお、表示処理部５は、通信切断の有無を判断するときに、予め設定された所定値と検出された電界強度とを比較し、電界強度が所定値以下であったときに、通信が切断されたと判断する。また、この所定値は、機器検索部１が応答要求の送信可否を決定するときに用いる所定値よりも小さい値に設定される。

通信が切断されたと判断した場合（Ｓ２０でＹＥＳ）には、処理はＳ１１に戻り、表示処理部５は、操作用画像をセンサ内蔵液晶パネル３０１に表示させる。つまり、ここで省電力モードが解除される。そして、この場合には、再度、機器検索が行われる。一方、通信が切断されていないと判断した場合（Ｓ２０でＮＯ）には、処理はＳ１８に戻る。

〔センサ付きサブ表示装置２３０が行う処理の変形例（１）〕
図１９の例では、Ｓ１６で画像を送信した後に、自動的に表示／光センサ部３３０を省電力モードに設定しているが、画像送信後の処理はこの例に限られない。例えば、遠隔操作を行う外部装置の電界強度が所定値以上であることを検出したときに表示／光センサ部３３０を省電力モードに設定するようにしてもよい。

上述のように、図１９の例において、Ｓ１６で画像を送信した後には、センサ付きサブ表示装置２３０と外部装置とで、同じ内容の操作用画像が表示される。そして、これにより、センサ付きサブ表示装置２３０と外部装置との何れを用いても同じ入力操作を行うことができるようになる。したがって、例えば、センサ付きサブ表示装置２３０と外部装置とに別の人物が入力操作を行うことも可能である。

しかしながら、センサ付きサブ表示装置２３０と外部装置との距離が近接しているときには、センサ付きサブ表示装置２３０と外部装置とに別の人物が入力操作を行うことは考え難く、このような場合に、センサ付きサブ表示装置２３０に操作用画像を表示する必要はない。

すなわち、センサ付きサブ表示装置２３０と外部装置との距離が離れているときには、センサ付きサブ表示装置２３０と外部装置との両方でメイン表示装置２１０を操作できるようにして、センサ付きサブ表示装置２３０と外部装置との距離が近接しているときには、表示／光センサ部３３０を省電力モードにすることにより、ユーザの利便性を損なわずに消費電力を低減することができる。

ここで、一般に電界強度の大きさは距離に反比例するので、電界強度を用いることによって、センサ付きサブ表示装置２３０と外部装置との距離が近接しているか否かを判断することが可能である。

すなわち、表示処理部５は、電界強度検出部９３６に電界強度を検出させて、検出させた電界強度が予め定めた所定値以上である場合に、センサ付きサブ表示装置２３０と外部装置とが近接していると判断することができる。そして、近接していると判断したときに、表示／光センサ部３３０を省電力モードに設定することにより、ユーザの利便性を損なわずに消費電力を低減することができる。

なお、上記所定値は、外部装置とセンサ付きサブ表示装置２３０との距離を基に設定すればよい。例えば、外部装置とセンサ付きサブ表示装置２３０との距離が２ｍとなるときの電界強度を上記所定値として設定することにより、外部装置とセンサ付きサブ表示装置２３０との距離が２ｍ以内になったときに表示／光センサ部３３０を省電力モードに設定させることができる。無論、この距離は、２ｍに限られず、必要に応じて適宜設定すれば良い。

〔センサ付きサブ表示装置２３０が行う処理の変形例（２）〕
画像送信後の処理は、図１９の例、及び上記〔センサ付きサブ表示装置２３０が行う処理の変形例（１）〕以外にも考えられる。例えば、画像を外部装置に送信した後に、センサ付きサブ表示装置２３０にて外部装置とは異なる入力操作を行うことができるようにしてもよい。

ここでは、画像を外部装置に送信した後に、センサ付きサブ表示装置２３０にて外部装置とは異なる入力操作を行うことができるようにする例について、図２０に基づいて説明する。図２０は、センサ付きサブ表示装置２３０が行う、上記とは別の処理の流れを示すフローチャートである。なお、図２０において、図１９と同様の処理については同一の参照番号を付し、その説明を省略する。

表示処理部５は、Ｓ１６において、画像が外部装置に送信されたことを確認すると、センサ内蔵液晶パネル３０１に表示する操作用画像を変更する（Ｓ２１）。具体的には、表示処理部５は、メイン表示装置２１０に操作用画像の変更を指示する処理コマンドを送信し、この応答として受信した操作用画像をデータ処理部７３０に指示してセンサ内蔵液晶パネル３０１に表示させる。

なお、変更後の操作用画像は、変更前の操作用画像と異なる入力操作に対応しているものであればよい。例えば、変更前の操作用画像が、動画像の「再生」「再生停止」「早送り」及び「早戻し」の処理をメイン表示装置２１０に実行させる入力操作に対応するものである場合には、変更後の操作用画像を、これらの入力操作以外に対応するものとする。例えば、変更後の操作用画像を、「音量変更」「コマ送り」「スロー再生」及び「遠隔操作の終了」等の処理をメイン表示装置２１０に実行させる入力操作に対応するものとしてもよい。

また、変更後の操作用画像は、例えば、外部装置による遠隔操作を終了させて、センサつきサブ表示装置２３０に対する入力操作のみでメイン表示装置２１０が動作するようにする処理を実行させる入力操作を示すものであってもよい。

さらに、変更後の操作用画像は、例えば、表示／光センサ部３３０を省電力モードに設定させる入力操作を示すものであってもよい。これにより、ユーザは、センサ付きサブ表示装置２３０を用いて入力操作を行わないと判断したときに、表示／光センサ部３３０を省電力モードに設定することができる。

以上のように、画像の送信後に操作用画像を変更することにより、ユーザは、センサ付きサブ表示装置２３０と外部装置とで、別々の入力操作を行うことができ、多様な入力操作が可能になる。

ここで、フローチャートの説明に戻る。図２０のＳ１８において、処理コマンド生成部４は、操作データの受信を待ち受け、操作データの受信が確認された場合（Ｓ１８でＹＥＳ）には、受信した操作データに応じたコマンドを生成してメイン表示装置２１０に送信する（Ｓ１９）。一方、操作データの受信が確認されない場合（Ｓ１８でＮＯ）には、処理コマンド生成部４は、その旨を表示処理部５に伝達し、処理はＳ２０に進む。

また、図２０の例では、図１９の例と異なり、画像送信後も表示／光センサ部３３０が省電力モードに設定されておらず、変更された操作用画像が表示されている。したがって、処理コマンド生成部４は、センサ付きサブ表示装置２３０に対する入力操作を待ち受けている（Ｓ２２）。

ここで、センサ内蔵液晶パネル３０１に入力操作が行われたことを検出した場合（Ｓ２２でＹＥＳ）には、処理コマンド生成部４は、スキャン処理部７から送られる座標と、センサ内蔵液晶パネル３０１上に設定された領域と該領域に対応するコマンドとを示すコマンド決定用データとに基づいて決定したコマンドをメイン表示装置２１０に送信する（Ｓ２３）。なお、ここでは、Ｓ２１において表示された操作用画像に対応するコマンド決定用データが用いられる。

そして、生成したコマンドをメイン表示装置２１０に送信した後、または操作データの受信が確認されない場合（Ｓ１８でＮＯ、またはＳ２２でＮＯ）には、処理コマンド生成部４は、その旨を表示処理部５に伝達する。

伝達を受けた表示処理部５は、外部装置との近距離無線通信部９３５を介した通信が切断されたか否かを確認する（Ｓ２０）。そして、通信が切断されたと判断した場合（Ｓ２０でＹＥＳ）には、処理はＳ１１に戻り、表示処理部５は、Ｓ１７で変更する前に表示していた操作用画像をセンサ内蔵液晶パネル３０１に表示させる。この場合には、再度、機器検索が行われる。

一方、通信が切断されていないと判断した場合（Ｓ２０でＮＯ）には、表示処理部５は、電界強度検出部９３６が取得した、近距離無線通信部９３５を介した通信の電界強度が、予め定めた所定値以下であるか否かを確認する（Ｓ２４）。

ここで、電界強度が予め定めた所定値より大きい場合（Ｓ２４でＮＯ）には、処理はＳ１８に戻る。一方、電界強度が予め定めた所定値以下である場合（Ｓ２４でＹＥＳ）には、表示処理部５は、表示／光センサ部３３０を省電力モードに設定し（Ｓ１７）、処理はＳ１８に戻る。

このように、図２０の例では、上記〔センサ付きサブ表示装置２３０が行う処理の変形例（１）〕とは逆に、電界強度が予め定めた所定値以下である場合に表示／光センサ部３３０を省電力モードに設定するようにしている。この理由について、以下説明する。

上述のように、電界強度が予め定めた所定値以上である場合には、外部装置とセンサ付きサブ表示装置２３０との距離が一定以上近接していると考えられ、逆に電界強度が予め定めた所定値以下である場合には、外部装置とセンサ付きサブ表示装置２３０との距離が一定以上離れていると考えられる。

そして、両装置の距離が離れている場合には、外部装置のユーザは、センサ内蔵液晶パネル３０１の表示を見たり、センサ内蔵液晶パネル３０１に触れたりすることは困難である。

そこで、センサ付きサブ表示装置２３０と外部装置とで別々の操作用画像を表示させる図２０の例では、電界強度が予め定めた所定値以下である場合に、表示／光センサ部３３０を省電力モードに設定するようにしている。これにより、センサ付きサブ表示装置２３０の不要な電力消費を減らして、２画面表示装置２００の消費電力を低減することができる。

このため、Ｓ２４において省電力モードに設定するか否かの判断の規準となる所定値は、外部装置とセンサ付きサブ表示装置２３０との距離を基に設定することが好ましい。例えば、外部装置とセンサ付きサブ表示装置２３０との距離が３ｍとなるときの電界強度を上記所定値として設定することにより、外部装置とセンサ付きサブ表示装置２３０との距離が３ｍを超えたときに表示／光センサ部３３０を省電力モードに設定させることができる。無論、この距離は、３ｍに限られず、センサ内蔵液晶パネル３０１のサイズ等に合わせて適宜設定すれば良い。

なお、上記の例では、電界強度を用いた判定に４種類の所定値を用いる例を示した。すなわち、Ｓ１２において応答要求の送信可否を判定するための所定値（第１所定値と呼ぶ）と、Ｓ２０において通信切断の有無を判定するための所定値（第２所定値と呼ぶ）と、Ｓ２４において省電力モードの設定可否（離れている場合に省電力モードに設定）を判定するための所定値（第３所定値と呼ぶ）と、図１９の変形例で示した省電力モードの設定可否（近接している場合に省電力モードに設定）を判定するための所定値（第４所定値と呼ぶ）とである。

これら第１−第４所定値のうち、第２所定値については、第１、第３、及び第４所定値よりも小さい値に設定されるが、第１、第３、及び第４所定値は、同じ値であってもよいし、それぞれ異なる値であってもよい。これらの所定値は、必要に応じて適宜設定し、予め記憶部９３１等に格納しておけばよい。

〔通信端末装置４００が行う処理の流れ〕
次に、通信端末装置４００が行う処理の流れについて、図２１に基づいて説明する。図２１は、通信端末装置４００が行う処理の一例を示すフローチャートである。

なお、図２１の処理は、通信端末装置４００において、遠隔操作を行うためのアプリケーションソフト（図１には示していない）が起動している間に行われる処理である。言い換えれば、このアプリケーションソフトを起動していない状態では、通信端末装置４００をセンサ付きサブ表示装置２３０に近付けたとしても、通信端末装置４００は、センサ付きサブ表示装置２３０を遠隔操作できる状態とはならない。無論、通信端末装置４００をセンサ付きサブ表示装置２３０に近付けたときに、無条件で図２１の処理を行うようにしてもよいし、電界強度検出部９３６が検出した電界強度が所定値以上である場合（通信端末装置４００とセンサ付きサブ表示装置２３０との距離が一定以下である場合）に図２１の処理を行うようにしてもよい。

まず、通信端末装置４００の接続処理部２１は、接続要求の受信を待ち受ける（Ｓ３１）。ここで、接続要求の受信が確認された場合（Ｓ３１でＹＥＳ）には、接続処理部２１は、接続処理を行い（Ｓ３２）、センサ付きサブ表示装置２３０との近距離無線通信部４０４を介した通信接続を確立する。

通信接続が確立されると、機器情報送信部２２は、機器情報要求の受信を待ち受ける（Ｓ３３）。ここで、機器情報要求の受信が確認された場合（Ｓ３３でＹＥＳ）には、機器情報送信部２２は、自装置の機器情報を記憶部４０６から読み出してセンサ付きサブ表示装置２３０に送信する（Ｓ３４）。

また、通信接続が確立されると、表示処理部２４は、画像の受信を待ち受ける（Ｓ３５）。ここで、画像の受信が確認された場合（Ｓ３５でＹＥＳ）には、表示処理部２４は、表示部４０５に指示して受信した画像を表示させる（Ｓ３６）。また、表示処理部２４は、受信した画像を表示した旨を、操作データ送信部２３に伝達する。

伝達を受けた操作データ送信部２３は、操作部４０３への入力操作を待ち受ける（Ｓ３７）。ここで、操作部４０３への入力操作が確認された場合（Ｓ３７でＹＥＳ）には、操作データ送信部２３は、入力操作が遠隔操作を終了するための終了操作であるか否かを確認し（Ｓ３８）、終了操作であった場合（Ｓ３８でＹＥＳ）には、操作データ送信部２３は、終了操作が行われた旨をセンサ付きサブ表示装置２３０に通知して、通信端末装置４００における処理は終了する。

一方、終了操作ではない場合（Ｓ３８でＮＯ）には、操作データ送信部２３は、入力操作に応じた操作データを生成してセンサ付きサブ表示装置２３０に送信し（Ｓ３９）、処理はＳ３７に戻る。

なお、上述のように、操作データは、操作部４０３の態様によって異なるものとなる。例えば、操作部４０３がタッチパネルである場合には、操作データ送信部２３は、表示部４０５上において接触が検知された位置を示す座標を操作データとして送信する。また、例えば、操作部４０３が入力キーである場合には、操作データ送信部２３は、操作入力が行われた入力キーを示すデータを操作データとして送信する。

〔機器検索について〕
上述のように、センサ付きサブ表示装置２３０は、機器検出部１が機器検索を行って、検出した外部装置に対して画像を送信する。このため、リモコンアプリを立ち上げてさえいれば、どのような外部機器であってもセンサ付きサブ表示装置２３０と近接させれば、画像を受信してメイン表示装置２１０を操作することが可能になる。

このような構成は、誰でも気軽に自分の所持している携帯電話機等でメイン表示装置２１０を操作することができるというメリットがある反面、メイン表示装置２１０が意図しない第３者の制御を受けてしまうという危険性も孕んでいる。

そこで、機器検索を行うときに、一定の制約を設けるようにしてもよい。例えば、センサ付きサブ表示装置２３０が電源投入後、最初に機器検索を行い、検出した外部装置に応答要求を送信した後は、該応答要求に対する応答の有無に拘らず、機器検索を行わないようにしてもよい。これにより、センサ付きサブ表示装置２３０に電源を投入したユーザのみが、自らが所有する外部装置でメイン表示装置２１０の遠隔操作を行うことが可能になる。

なお、この場合には、外部装置は、遠隔操作用のアプリケーションソフトの起動を応答送信の条件とせず、応答要求を受信したときに、遠隔操作の開始の可否をユーザに選択させるようにすることが好ましい。上述の例のように、遠隔操作用のアプリケーションソフトの起動を応答送信の条件とした場合には、遠隔操作用のアプリケーションソフトを起動させていない状態で、応答要求が送信されたときには、センサ付きサブ表示装置２３０を再起動しない限り、外部装置で遠隔操作を行うことができなくなるからである。

また、最初の応答要求が送信されたときには、遠隔操作の必要がないと判断して、応答を送信しない旨の選択を行った後に、遠隔操作を行う必要が生じることも考えられる。そこで、このような場合に対応するために、応答要求の送信の可否を切り替え可能に構成することが好ましい。

例えば、センサ内蔵液晶パネル３０１に、応答要求の送信の可否を切り替えるための選択項目を表示してユーザに選択させることにより、ユーザは所望のタイミングで外部装置による遠隔操作を行うことが可能になる。

また、セキュリティを向上させる上記とは別の方法として、認証を行う方法が考えられる。例えば、センサ付きサブ表示装置２３０において、メイン表示装置２１０を遠隔操作する外部装置を予め登録しておき、登録されている外部装置が機器検索にて検出されたときにのみ、当該外部装置に応答要求を送信するようにしてもよい。これにより、意図しない第３者にメイン表示装置２１０が操作されることを防ぐことができる。

〔変形例〕
上述の例では、センサ付きサブ表示装置２３０が定期的に機器検索を行い、検出した通信端末装置４００と通信接続して、該通信端末装置４００に操作用画像を送信する構成について説明した。

しかしながら、センサ付きサブ表示装置２３０と通信端末装置４００とが通信接続を行う方法は、この例に限られない。例えば、通信端末装置４００において、遠隔操作用のアプリケーションソフトを起動したときに、通信端末装置４００が機器検索を行って、検出したセンサ付きサブ表示装置２３０と通信接続を行うようにしてもよい。

さらに、上述の例では、センサ付きサブ表示装置２３０とメイン表示装置２１０とがそれぞれ独立した制御系を有する別装置である構成について説明したが、センサ付きサブ表示装置２３０とメイン表示装置２１０とは、１つの制御系の下で動作する１つの装置であってもよい。

また、上述の例では、センサ付きサブ表示装置２３０が、センサ内蔵液晶パネル３０１によって、画像の表示と入力操作の検出とを行う構成について説明したが、センサ付きサブ表示装置２３０は、画像の表示と入力操作の検出とを行うことができるものであればよく、この例に限られない。例えば、センサ付きサブ表示装置２３０は、一般に用いられているタッチパネルを備えていてもよいし、画像の表示機能のみを備える表示部と、ユーザの入力操作を検出する操作部（例えば操作キー等）とを備えていてもよい。

そして、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、センサ付きサブ表示装置２３０及び通信端末装置４００の各ブロック、特にサブ側主制御部８３０及び端末側主制御部４０８は、上述のようにＣＰＵを用いてソフトウェアによって実現することが可能である。

すなわち、センサ付きサブ表示装置２３０及び通信端末装置４００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるセンサ付きサブ表示装置２３０及び通信端末装置４００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記センサ付きサブ表示装置２３０及び通信端末装置４００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、センサ付きサブ表示装置２３０及び通信端末装置４００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

無論、センサ付きサブ表示装置２３０及び通信端末装置４００の各ブロックは、ハードウェアロジックによって構成することも可能である。

本発明によれば、本体装置（メイン表示装置）に設けられた入力装置（センサ付きサブ表示装置）と外部装置（通信端末装置）とで操作用画像を共有することによって、本体装置に設けられた入力装置からでも、外部装置からでも違和感なく本体装置の入力操作を行うことが可能になる。したがって、操作用画像を表示して入力操作を行う機器であれば、本発明を適用することが可能である。

本発明の実施形態を示すものであり、センサ付きサブ表示装置及び通信端末装置の要部構成を示すブロック図である。 上記センサ付きサブ表示装置を備える２画面表示装置の具体的な構成例を示す図である。 上記センサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 同図（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記メイン表示装置及びセンサ付きサブ表示装置の要部構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部、及びデータ処理部のより詳細な構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。 サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。 サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 装置間コマンドのフレーム構造の一例を示す模式図である。 スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。 スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。 表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。 処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。 同図（ａ）は、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図であり、同図（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図である。 上記表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 上記２画面表示装置及び上記通信端末装置の動作の一例を示す図である。 操作部がキー入力方式の通信端末装置において表示される操作用画像の一例を示す図である。 上記センサ付きサブ表示装置が行う処理の一例を示すフローチャートである。 上記センサ付きサブ表示装置が行う、上記とは別の処理の例を示すフローチャートである。 上記通信端末装置が行う処理の一例を示すフローチャートである。

符号の説明

１ 機器検索部（機器検索手段）
２ 機器情報取得部（機器情報取得手段）
３ 画像送信部（画像送信手段）
４ 処理コマンド生成部（処理実行指示手段）
５ 表示処理部（画像変更手段、省電力制御手段）
７ スキャン処理部
２００ ２画面表示装置（電子機器）
２１０ メイン表示装置（制御対象装置）
２３０ センサ付きサブ表示装置（処理実行指示装置）
４００ 通信端末装置
８３０ サブ側主制御部
９３５ 近距離無線通信部(無線通信部)
９３６ 電界強度検出部（通信強度検出手段）

Claims (12)

1. 入力操作と該入力操作によって制御対象装置が実行する処理との対応を示す第１操作用画像を表示部に表示させると共に、該第１操作用画像に従って行われるユーザの入力操作を検出し、検出した入力操作に対応する処理を上記制御対象装置に実行させる処理実行指示装置であって、
   外部の通信端末装置と無線通信を行うための無線通信部と、
   上記第１操作用画像と同じ内容を含む第２操作用画像を、上記無線通信部を介して上記通信端末装置に送信する画像送信手段と、
   上記通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示手段とを備えていることを特徴とする処理実行指示装置。
2. 上記処理実行指示手段は、上記通信端末装置に対するユーザの入力操作の内容と、該内容に対応する処理を上記制御対象装置に実行させる制御信号とが対応付けられた通信端末用制御信号決定用データを用いて決定した制御信号を送信して、上記処理を上記制御対象装置に実行させることを特徴とする請求項１に記載の処理実行指示装置。
3. 上記表示部は、画像を表示する画像表示面に対する接触を検出して、該画像表示面上における接触位置を出力する機能をさらに有し、
   上記処理実行指示手段は、上記画像表示面上に設定された領域と該領域に対応する制御信号とを示す自装置用制御信号決定用データを用い、上記表示部が出力する接触位置を含む領域に対応付けられた制御信号を送信して、上記制御対象装置に上記処理を実行させることを特徴とする請求項１または２に記載の処理実行指示装置。
4. 上記通信端末装置が表示可能な画像サイズを示す機器情報を取得する機器情報取得手段を備え、
   上記画像送信手段は、上記機器情報取得手段が取得した機器情報が示す画像サイズの第２操作用画像を上記通信端末装置に送信することを特徴とする請求項３に記載の処理実行指示装置。
5. 上記操作データは、上記通信端末装置の画像表示面上の位置を示す座標データであり、
   上記処理実行指示手段は、
   上記自装置用制御信号決定用データに示される領域のうち、上記第２操作用画像の画像サイズの上記第１操作用画像の画像サイズに対する拡大または縮小倍率の逆数を上記座標データに乗じた補正座標データが含まれる領域に対応付けられた制御信号を上記制御対象装置に送信するか、
   または、上記第２操作用画像の画像サイズの上記第１操作用画像の画像サイズに対する拡大または縮小倍率を上記自装置用制御信号決定用データの上記領域に乗じた補正制御信号決定データにおいて、上記座標データが示す位置が含まれる領域に対応付けられた制御信号を上記制御対象装置に送信することを特徴とする請求項４に記載の処理実行指示装置。
6. 自装置と上記無線通信部を介して通信可能な通信端末装置を検出する機器検索手段を備え、
   上記画像送信手段は、上記機器検索手段が検出した通信端末装置に上記第２操作用画像を送信することを特徴とする請求項１から５の何れか１項に記載の処理実行指示装置。
7. 上記画像送信手段が上記第２操作用画像を送信した後に、上記第１操作用画像とは異なる、入力操作と該入力操作によって上記制御対象装置が実行する処理との対応を示す第３操作用画像を上記表示部に表示する画像変更手段を備えていることを特徴とする請求項１から６の何れか１項に記載の処理実行指示装置。
8. 上記無線通信部を介した通信の通信強度を検出する通信強度検出手段を備え、
   上記通信強度検出手段が検出した通信強度が、予め定めた強度以下となったときに、上記表示部の表示輝度を上記第２操作用画像の送信前より低く設定するか、または上記表示部を非表示状態とする省電力制御手段を備えていることを特徴とする請求項１から７の何れか１項に記載の処理実行指示装置。
9. 上記画像送信手段が上記第２操作用画像を送信した後に、上記表示部の表示輝度を上記第２操作用画像の送信前より低く設定するか、または上記表示部を非表示状態とする省電力制御手段を備えていることを特徴とする請求項１から６の何れか１項に記載の処理実行指示装置。
10. 上記省電力制御手段は、上記通信端末装置から、所定の操作データを受信したときに、上記表示部を上記第２操作用画像の送信前の表示状態に戻すことを特徴とする請求項９に記載の処理実行指示装置。
11. 請求項１から１０の何れか１項に記載の処理実行指示装置と、上記制御対象装置とが有線接続されてなる電子機器。
12. 入力操作と該入力操作によって制御対象装置が実行する処理との対応を示す第１操作用画像を表示部に表示させると共に、該第１操作用画像に従って行われるユーザの入力操作を検出し、検出した入力操作に対応する処理を上記制御対象装置に実行させる処理実行指示装置の制御方法であって、
    上記第１操作用画像と同じ内容を含む第２操作用画像を、外部の通信端末装置と無線通信を行うための無線通信部を介して通信端末装置に送信する画像送信ステップと、
    上記通信端末装置が検出した、該通信端末装置に対するユーザの入力操作の内容を示す操作データを受信したときに、上記第１操作用画像が示す処理のうち、受信した操作データに応じた処理を上記制御対象装置に実行させる処理実行指示ステップとを含むことを特徴とする処理実行指示装置の制御方法。

Images