JP2010108448A - データ送信支援装置、電子機器、及びデータ送信支援装置の制御方法 - Google Patents

Abstract

【課題】データ受信装置においてデータをスムーズに受信して処理する。
【解決手段】本発明のセンサ付きサブ表示装置２３０は、外部装置４００が提供可能な画像を示すサムネイル画像をセンサ内蔵液晶パネル３０１に表示し、ユーザが選択したサムネイル画像の元画像を、外部装置４００からメイン表示装置２１０に送信させる装置であって、サムネイル画像が選択されたことを検出する格納データ情報取得部１１と、該格納データ情報取得部１１がサムネイル画像の選択を検出したときに、上記元画像が送信されることをメイン表示装置２１０に通知する格納データ受信前処理指示部１３とを備えているので、メイン表示装置２１０は元画像をスムーズに受信して表示することができる。
【選択図】図１

Description

本発明は、データを格納している装置から、データを出力する装置へとデータを送信させるデータ送信支援装置、電子機器、及びデータ送信支援装置の制御方法に関するものである。

従来から、携帯電話機やデジタルカメラ等の電子機器が格納している画像等のデータを、該通信端末と有線または無線通信接続された、ＴＶ等の電子機器に送信して表示させる技術は広く用いられている。

また、携帯電話等が格納している画像をＰＣ（Personal Computer）に送信して、該ＰＣにおいて上記画像の編集、保存、転送等を行うことも公知である。さらに、ＰＣ経由で上記画像をプリンタに出力して印刷することや、画像を直接プリンタに送信して印刷させることも従来から行われている。

ここで、携帯電話機等の電子機器は、一般に表示画面が小さいので、多数の画像を格納している場合には、所望の画像のみを選択してＴＶやＰＣ等に送信することが容易ではなく、画像の選択に時間がかかるという問題がある。

この問題を解決するためには、例えば格納している画像の全てをＴＶやＰＣ等に送信することが考えられる。しかしながら、この方法では、画像の送信に時間がかかり、またＴＶやＰＣ等において、画像を格納するための記憶領域を確保する必要があり、さらにユーザの意図しない画像までＴＶやＰＣ等にコピーされてしまうので好ましくない。

そこで、画像の代わりにサムネイル画像を送信することが考えられる。サムネイル画像は、画像の本体よりもサイズが小さいので、送信に要する時間も短縮され、ＴＶやＰＣ等において大きい記録領域を確保する必要もない。そして、ＴＶやＰＣ等の比較的表示画面の大きい機器において、サムネイル画像を表示することにより、ユーザは多数の画像の中から所望の画像を容易に選択することができるようになる。

また、下記の特許文献１から４には、ノート型のＰＣ（以下、ノートＰＣと呼ぶ）に、透明なタッチパッドと該タッチパッドの背面に配置された液晶表示装置とによって構成されるタッチパネルを搭載することが記載されている。この構成によれば、ユーザは、表示される画像に従ってタッチパネルに触れるという直感的な入力操作によって、ノートＰＣを操作することができる。

上記ノートＰＣのタッチパネルに上記サムネイル画像を表示した場合には、ユーザは、表示されているサムネイル画像に触れるという直感的な入力操作によって、所望のサムネイル画像を選択することができるので好ましい。また、ノートＰＣであれば、携帯電話機等から受信した画像を表示するのみならず、編集、保存、及び印刷等の様々な処理を施すことができる。

ここで、サムネイル画像を送信する上記方法によれば、ＴＶやＰＣ、ノートＰＣ等にサムネイル画像が表示されているときには、各サムネイルの元画像は、携帯電話機等に格納されている状態となる。したがって、ユーザが、画像の編集、保存、及び印刷等を行う場合には、携帯電話機等から元画像を取得する必要がある。

この場合には、ＴＶやＰＣ、ノートＰＣ等は、携帯電話機等に対して元画像の送信を要求することによって、元画像を取得することになる。そして、元画像を取得することによって、表示、編集、保存等の処理が可能になる。

例えば、ＰＣまたはノートＰＣが、元画像を受診して表示するためには、まず、元画像を格納している携帯電話機と通信接続を確立し、続いて確立した通信接続を介して携帯電話機に元画像の送信を要求し、次に該要求に応じて送られてくる元画像を受信し、そして画像閲覧用のソフトウェアを起動して、受信した元画像を表示する必要がある。
特開２０００−３３９０９７（２０００年１２月８日公開） 特開２００４−５１０５（２００４年１月８日公開） 特開２００４−５２１２（２００４年１月８日公開） 特開２００４−２３４５０４（２００４年８月１９日公開）

しかしながら、これらの処理は、サムネイル画像が選択された後に、順次行われるので、サムネイル画像の選択後、元画像が表示されるまでに時間がかかるという問題がある。また、ＴＶやＰＣ等の電子機器は、携帯電話機から受信した画像を表示する専用の機器ではないので、元画像を受信したときに、表示画面に他のデータソースに由来する画像が表示されていることも考えられ、このような場合には元画像の受信後にデータソースを切り替える処理を行う必要が生じ、これによってもタイムロスが発生する。

このように、サムネイル画像を送信する上記方法では、サムネイル画像を選択した後の処理に時間を要し、選択したサムネイル画像の元画像に対して所望の処理をスムーズに施すことができないという問題がある。

なお、これは、静止画像のサムネイルの場合に限られない問題である。例えば、動画像データのサムネイル画像を用いる場合にも上記と同様の問題が生じる。つまり、携帯電話機等のデータ提供装置に、提供可能なデータのリストを送信させ、送信されたリストから選択されたデータを、当該データ提供装置からＰＣ等のデータ受信装置に送信させるシステムにおいては、上記と同様の問題が生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが選択したデータを、データ提供装置からデータ受信装置に送信する際に、データ受信装置において、データをスムーズに受信して所望の処理を施すことができるようにするデータ送信支援装置等を実現することにある。

本発明に係るデータ送信支援装置は、上記課題を解決するために、データ提供装置が提供可能なデータを示す提供可能データリストを表示部に表示し、表示した上記提供可能データリストの中からユーザが選択したデータを、上記データ提供装置に指示してデータ受信装置に送信させるデータ送信支援装置であって、上記提供可能データリストの中からデータが選択されたことを検出する選択検出手段と、上記選択検出手段がデータの選択を検出したときに、上記データが送信されることを上記データ受信装置に通知するデータ送信通知手段とを備えていることを特徴としている。

また、本発明に係るデータ送信支援装置の制御方法は、上記課題を解決するために、データ提供装置が提供可能なデータを示す提供可能データリストを表示部に表示し、表示した上記提供可能データリストの中からユーザが選択したデータを、上記データ提供装置に指示してデータ受信装置に送信させるデータ送信支援装置の制御方法であって、上記提供可能データリストの中からデータが選択されたことを検出する選択検出ステップと、上記選択検出ステップにてデータの選択を検出したときに、上記データが送信されることを上記データ受信装置に通知するデータ送信通知ステップとを含むことを特徴としている。

上記の構成または方法によれば、ユーザは、表示部に表示された提供可能データリストから選択を行うことにより、選択したデータをデータ受信装置に受信させることができる。したがって、データを格納している装置（データ提供装置またはその他の装置）が、携帯電話機等のように表示画面の小さい機器である場合や、記憶装置のように表示画面を持たない機器である場合でも、どのようなデータをデータ受信装置に受信させることができるかをユーザに容易に認識させることができる。また、複数の装置が格納しているデータを提供可能データリストの参照によって、一度に確認することも可能である。

そして、上記の構成または方法によれば、提供可能データリストの中からデータの選択が行われたときに、データが送信されることをデータ受信装置に通知するようにしている。これにより、データ受信装置では、実際にデータを受信する前の段階で、これからデータを受信することが把握されるので、前もってデータの受信準備を行うことができる。

したがって、上記の構成または方法によれば、データ受信装置において、データをスムーズに受信して所望の処理を施すことが可能になる。例えば、通知を受けたときにデータを受信するための通信手段を起動することにより、スムーズにデータを受信可能な状態に移行することができる。また、例えば、通知を受けたときに他の処理を実行中であれば、その処理を中断したり、受信するデータがその処理の終了後に出力等（例えば表示、印刷、転送等）されるように予約をしたりすることで、受信するデータに対して速やかに所望の処理を施すことができる。

なお、データ受信装置に送信する通知は、データが受信されることのみを通知するものであってもよいが、受信されるデータの種別、データの送信元等を示す情報を含んでいることが好ましい。データの送信元が分かれば、よりスムーズに通信接続を確立することができ、データの種別が分かれば、種別に応じたアプリケーションプログラムの立ち上げ等を開始することができるので、よりスムーズにデータを受信して出力等することが可能になるためである。

また、データ提供装置が提供可能なデータは、当該データ提供装置に格納されているデータであってもよいし、他の装置が格納しているデータであってもよい。そして、他の装置が格納しているデータである場合には、データ提供装置経由でデータ受信装置にデータを送信するようにしてもよいし、他の装置からデータ受信装置に直接データを送信するようにしてもよい。

また、上記表示部は、画像の表示機能と共に、当該表示部へのユーザの接触を検知する機能を有し、上記選択検出手段は、上記表示部が検知したユーザの接触位置に表示されているデータが選択されたと判断することが好ましい。

上記の構成によれば、ユーザは、表示部に表示されている提供可能データリストの中から、所望のデータが表示されている箇所に触れることにより、当該データを選択することができる。よって、ユーザは、直感的な操作で所望のデータをデータ受信装置に受信させることができる。

なお、上記の構成は、例えば上記特許文献１〜４のように、透明なタッチパッドと、該タッチパッドの背面に配置された表示装置とによって実現することもできるし、像の検知機能を備えた表示装置（例えば光センサ内蔵液晶表示装置）を用いることによって実現することもできる。

また、上記データ送信支援装置は、自装置から所定範囲内に存在するデータ提供装置と通信可能な近距離無線通信部と、上記所定範囲内に存在するデータ提供装置を検出する機器検出手段と、上記機器検出手段が検出したデータ提供装置に対して上記提供可能データリストの送信を要求するリスト送信要求手段とを備えていることが好ましい。

上記の構成によれば、近距離無線通信部を介して通信可能なデータ提供装置から提供可能データリストが取得される。したがって、データ送信支援装置のユーザは、当該データ送信支援装置から所定範囲内に存在するデータ提供装置が提供可能なデータを一目で確認することが可能になる。そして、所望のデータを提供可能データリストから選択するという簡易な操作で当該データをデータ受信装置に受信させることができる。

また、上記提供可能データリストには、上記データ提供装置が提供可能な画像のサムネイル画像が含まれており、上記提供可能データリストとして表示された上記サムネイル画像に対してユーザが編集操作を行ったときに、該編集操作の内容を示す編集情報を上記データ提供装置または上記データ受信装置に送信する編集情報送信手段を備えていることが好ましい。

上記提供可能データリストは、データ提供装置が提供可能なデータを示すものであればよく、特に限定されないが、例えばデータ提供装置が提供可能な画像のサムネイル画像を提供可能データリストとすることもできる。この場合には、サムネイル画像が表示部に表示されることになり、ユーザはこれを見ることによって、データ受信装置に送信させることのできる画像がどのような画像であるかを確認することができる。

ここで、上記の構成によれば、表示されたサムネイル画像に対して、ユーザが編集操作を行うことができるようになっている。なお、編集操作とは、画像に対して回転、拡大、縮小、文字や絵、記号の追加等の加工を施す操作であり、画像に対して編集操作を行う具体的な方法としては、従来から用いられている方法を適用することが可能である。

そして、上記の構成によれば、編集操作の内容を示す編集情報をデータ提供装置またはデータ受信装置に送信するようにしている。これにより、サムネイル画像の元画像を格納しているデータ提供装置、または元画像を受信するデータ受信装置において、元画像に編集操作の内容を反映させることができる。

また、上記データ送信支援装置は、上記選択検出手段がデータの選択を検出したときに、選択が検出されたデータに対して上記データ受信装置が実行可能な処理の候補を示す処理選択情報を表示する処理選択情報表示手段と、上記処理選択情報表示手段が表示した上記処理選択情報が選択されたときに、該選択された処理選択情報に対応する処理を上記データ受信装置に実行させる処理実行指示手段とを備えていることが好ましい。

上記の構成によれば、提供可能データリストからデータが選択されたときに、選択されたデータに対して実行可能な処理の候補を示す処理選択情報が表示される。これにより、ユーザは、選択したデータに対してどのような処理を行うことができるかを容易に認識することができる。

そして、上記の構成によれば、処理選択情報を選択したときに、選択した処理選択情報に対応する処理をデータ受信装置が実行するようになっている。これにより、ユーザは、選択したデータに対してどのような処理を行うことができるかを認識した後、速やかに所望の処理を実行させることができる。

また、上記データ送信通知手段は、上記データが送信されることを上記データ受信装置に通知すると共に、上記データ受信装置が上記データを受信して出力するために必要な処理の実行指示を、当該データ受信装置に送信することが好ましい。

ここで、データが送信されることのみを通知した場合には、データ受信装置が主体となってデータの受信準備を行うことになる。つまり、この場合には、データ受信装置は、データの受信通知を受けたときに、データの受信準備を行うように構成されている必要がある。

これに対し、上記の構成では、データを受信して出力するために必要な処理の実行指示をデータ送信支援装置が送信するようにしている。したがって、この場合には、データ受信装置は、データの受信通知を受けたときに、データの受信準備を行うように構成されている必要がない。したがって、上記の構成によれば、従来から一般に用いられている電子機器をそのままデータ受信装置として適用することが可能になる。

なお、データを受信して出力するために必要な処理は、当該処理を行うことによって、データの受信に要する時間及び受信したデータが出力されるまでに要する時間の何れかまたは両方が低減されるものであればよい。この処理としては、例えば、データ受信のための通信接続の確立、データを出力するためのアプリケーションソフトの起動、他の処理の停止等が挙げられる。また、上記「データの出力」には、表示、印刷等の他、他の装置への転送等の処理も含まれる。

また、上記データ送信支援装置と上記データ受信装置とが有線通信接続されてなる電子機器であれば、上記と同様の効果を奏する。

なお、上記データ送信支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記データ送信支援装置の各手段として動作させることにより、上記データ送信支援装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係るデータ送信支援装置は、提供可能データリストの中からデータが選択されたことを検出する選択検出手段と、上記選択検出手段がデータの選択を検出したときに、上記データが送信されることをデータ受信装置に通知するデータ送信通知手段とを備えている構成である。

また、本発明に係るデータ送信支援装置の制御方法は、以上のように、提供可能データリストの中からデータが選択されたことを検出する選択検出ステップと、上記選択検出ステップにてデータの選択を検出したときに、上記データが送信されることをデータ受信装置に通知するデータ送信通知ステップとを含む構成である。

したがって、データ受信装置において、データをスムーズに受信して所望の処理を施すことができるという効果を奏する。

本発明の一実施形態について図１から図２１に基づいて説明すると以下の通りである。

〔発明の概要〕
まず、本実施形態に係る発明の概要について、図１７に基づいて説明する。図１７は、本実施形態の２画面表示装置（電子機器）２００の動作例を示す図であり、同図（ａ）は外部装置（データ提供装置）４００から受信したサムネイル画像を表示した後、表示したサムネイル画像が選択されるまでの状態を示し、同図（ｂ）サムネイル画像が選択された後の状態を示している。

同図（ａ）に示すように、２画面表示装置２００は、ノートＰＣ（Personal Computer）である。そして、２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置（データ受信装置）２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１を備えるセンサ付きサブ表示装置（データ受信支援装置）２３０とを有する装置である。

メイン表示装置２１０は、一般的なノートＰＣとほぼ同様の構成を備えている。すなわち、メイン表示装置２１０に種々のプログラムをインストールしてこれを実行させることにより、様々な機能を実現することができる。図示の例では、メイン表示装置２１０において、文書作成用のソフトウェアが起動していることを想定しており、これにより液晶パネル３１１には、文書作成用のウィンドウＷ１が表示されている。

そして、センサ付きサブ表示装置２３０は、メイン表示装置２１０のタッチパッド部分を別装置として構成したものである。つまり、２画面表示装置２００は、センサ付きサブ表示装置２３０に表示されている画像に従って、センサ付きサブ表示装置２３０の表示画面に触れることによって、メイン表示装置２１０を操作することができるようになっている。

また、センサ付きサブ表示装置２３０は、メイン表示装置２１０とは独立に、外部の装置と通信可能に構成されている。ここでは、図示のように、センサ付きサブ表示装置２３０は、外部装置４００と通信することを想定している。

外部装置４００は、センサ付きサブ表示装置２３０及びメイン表示装置２１０と通信可能な装置である。また、外部装置４００は、画像を格納しており、格納している画像をセンサ付きサブ表示装置２３０及びメイン表示装置２１０に送信することができると共に、上記画像のサムネイルを送信することもできるようになっている。

ここでは、外部装置４００が携帯電話機である例について説明するが、画像及びサムネイル画像の送信機能を備えている装置であれば、携帯電話機に限られず、任意の機器を外部装置４００として適用することができる。

ここで、センサ付きサブ表示装置２３０は、外部装置４００と通信可能な状態となると、外部装置４００にサムネイル画像の送信を要求する。そして、要求を受けた外部装置４００がサムネイル画像を送信する（図中（１）で示す処理）。これにより、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１には、サムネイル画像Ｔが表示される。図示の例では、「Ａ」−「Ｆ」の６つのサムネイル画像Ｔが表示されている。

図示のように、センサ内蔵液晶パネル３０１は、携帯電話機である外部装置４００の表示部よりも表示面積が広い。このため、ユーザは、１度により多くのサムネイル画像を確認することができる。また、センサ内蔵液晶パネル３０１は、タッチパネル機能を有しているので、ユーザは表示されているサムネイル画像に直接触れて選択することができる。

また、センサ付きサブ表示装置２３０では、表示しているサムネイル画像に対して、画像の回転等の編集処理を行うことができるようになっている。サムネイル画像に対して行われた編集処理の内容は、当該サムネイル画像の元画像の送信先となるメイン表示装置２１０または外部装置４００に送信され、メイン表示装置２１０または外部装置４００において、元画像に反映される。

ここで、「Ｆ」のサムネイル画像Ｔが選択されたときには、センサ付きサブ表示装置２３０から外部装置４００へと、上記選択されたサムネイル画像の元画像を送信するように指示が送られる（図中（２）で示す処理）。なお、元画像の送信先としては、メイン表示装置２１０が指定される。同時に、センサ付きサブ表示装置２３０は、メイン表示装置２１０に対して、画像の受信準備をするように指示を送る（図中（２）’で示す処理）。

これにより、メイン表示装置２１０において、画像の受信準備が行われ、そして外部装置４００からメイン表示装置２１０へと上記元画像が送信される（図中（３）で示す処理）。

このように、センサ付きサブ表示装置２３０は、サムネイル画像Ｔが選択されたときに、メイン表示装置２１０に受信準備指示を送る。このため、メイン表示装置２１０は、受信準備を整えた上で元画像を受信することができる。

受信準備としては、例えば画像の送信元である外部装置４００と通信接続を開始する、現在表示中のウィンドウを最小化する、画像閲覧用のソフトウェアを起動する、等が挙げられる。なお、画像の受信に先立って行っておくことが好ましい処理であれば、任意の処理を受信準備に含めることができる。

同図（ｂ）の例では、液晶パネル３１１に、「Ｆ」のサムネイル画像Ｔの元画像がウィンドウＷ２として表示されている。また、同図（ａ）において表示されていたウィンドウＷ１は、同図（ｂ）では、最小化されたウィンドウＷ１’として表示されている。これにより、選択したサムネイル画像Ｔに対応する元画像をユーザがスムーズに確認することができる。

また、同図（ｂ）の例では、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１には、サムネイル画像Ｔの代わりに、画像に関する選択項目Ｉが表示されている。図示の例では、選択項目Ｉとして、上記元画像を他の装置に転送させる「転送」、上記元画像をプリンタに出力して印刷させる「印刷」、上記元画像の編集を実行させる「編集」、及びサムネイルが表示されている状態に戻すための「戻る」の４項目が表示されている。そして、ユーザは、これらの選択項目Ｉの中から、所望の処理を選んでタッチすることにより、当該処理をメイン表示装置２１０に実行させることができるようになっている。

このように、選択項目Ｉを含むメニュー画面を表示することにより、ユーザは、元画像に対して所望の処理をスムーズに施すことができる。無論、メニュー画面に含まれる選択項目Ｉは、上述の例に限られず、メイン表示装置２１０に送信されたデータの種別に応じて、任意の処理を選択項目Ｉとして表示することができる。

〔２画面表示装置の概要〕
上述のように、２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０とを有する装置である。以下では、メイン表示装置２１０及びセンサ付きサブ表示装置２３０の構成について、図２から１６を参照しながら、より詳細に説明する。

メイン表示装置２１０とセンサ付きサブ表示装置２３０とは、着脱可能な構成となっている。そして、メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。

なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。そのため、メイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態では、それぞれ単体で動作可能である。

図２を参照しながら、２画面表示装置２００の具体例について説明する。図２（ａ）は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を内部に備える、ノートＰＣを想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。なお、図２（ａ）に示した状態は、メイン表示装置２１０の内部にセンサ付きサブ表示装置２３０が装着されている状態である。メイン表示装置２１０のタッチパッドに相当する部分は透明であり、ユーザは、内部に装着されたセンサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を操作できるようになっている。

図２（ｂ）は、図２（ａ）に示したノートＰＣにおいて、センサ付きサブ表示装置２３０をメイン表示装置２１０の内部から取り出してメイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態を示す模式図である。上述したように、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ単体でも動作可能であるので、この状態では、メイン表示装置２１０は、タッチパッド機能が無いノートＰＣとして動作することが可能である。また、センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるリモコンやＰＤＡ（Personal Digital Assistant）などとして動作することができる。

〔センサ内蔵液晶パネルの概要〕
上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。

図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

〔メイン表示装置およびセンサ付きサブ表示装置の要部構成〕
次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。

〔センサ付きサブ表示装置の要部構成〕
まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部９３３、有線通信部９３４、近距離無線通信部９３５、電界強度検出部９３６、バッテリー９３７、および電源切替部９３８を備えている。

表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。

次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。

次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。

次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。

サブ側主制御部８３０は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。

また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。

まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行わせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換は、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行われる。

なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。

次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行わせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。

次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。

サブ側主制御部８３０が実行する上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理など、センサ付きサブ表示装置２３０が有する各種アプリケーションやミドルウェア等の実行処理である。

さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。メイン側主制御部８１０が実行する上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーションやミドルウェア等の実行処理である。

なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９３１は、サブ側主制御部８３０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９３１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行うための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行うための近距離無線通信部９３５を制御するものである。

すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。

有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。

そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。

近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行うことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行えるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。

次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。

次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備える各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。

〔メイン表示装置の要部構成〕
次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。

表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。

次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。

また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。

また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ＯＳの起動処理、各種アプリケーションやミドルウェア等の実行処理）を行う。

なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。

次に、記憶部９１１は、メイン側主制御部８１０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９１１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

一次記憶部９１２は、ＲＡＭなどの揮発性の記憶装置によって構成されるものであり、メイン側主制御部８１０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行うための有線通信部９１４、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行うための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行うための有線／無線ネットワーク通信部９１６を制御するものである。

すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。

有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっており、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。

近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっており、上記無線通信経路には、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行うことのできる通信部である。

有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行うものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

電源９１７は、メイン表示装置２１０が備える各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。

次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。

なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。

その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。

〔センサ付きサブ表示装置の詳細な構成〕
次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。

まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。

表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

〔メイン表示装置の詳細な構成〕
上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。

表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。

周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。

次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。

液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。

バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。

〔サブ表示装置内コマンド〕
次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。

「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。

また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。

また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

〔装置間コマンド〕
次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。

「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。

次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。

コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行わせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。

また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行わせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。

また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。

次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。

次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。

図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。

なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。

また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。

また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。

次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。

図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。

次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。

表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。

表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。

次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。

処理コマンドの第１フィールド（実行処理種別）は、処理コマンドの送信先の主制御部に実行させる処理（各種アプリケーション、ミドルウェア、ＯＳ等）の識別情報を指定するフィールドである。当該識別情報は、処理が識別可能なものであれば、どのような値であってもよい。

処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。

処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。

起動時に用いる情報とは、例えば、第１フィールドにて指定された所定処理の動作モードや、表示領域などを指定するパラメータなどが挙げられる。

また、起動後に用いる情報とは、例えば、第１フィールドに文字認識アプリケーションが指定されている場合、当該文字認識アプリケーションが文字認識する対象の画像データなどが挙げられる。また、第１フィールドにファイル転送アプリケーションが指定されている場合、当該ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。

〔全体画像データ／部分画像データ／座標データ〕
次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図１５（ｂ）に示す画像データでは、図１５（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

〔センサ内蔵液晶パネルの構成〕
次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

次に、メイン表示装置２１０、センサ付きサブ表示装置２３０、及び外部装置４００のより詳細な構成について、図１に基づいて説明する。図１は、メイン表示装置２１０、センサ付きサブ表示装置２３０、及び外部装置４００の要部構成を示すブロック図である。

〔メイン表示装置２１０の構成〕
メイン表示装置２１０は、図示のように、有線通信部９１４を介してセンサ付きサブ表示装置２３０と接続している。この接続を介して、メイン表示装置２１０はセンサ付きサブ表示装置２３０の制御を受ける。また、メイン表示装置２１０は、近距離無線通信部９１５または有線／無線ネットワーク通信部９１６を介して外部装置４００と通信できるようになっている。この通信により、メイン表示装置２１０は外部装置４００から画像等のデータを受信する。

また、メイン表示装置２１０のメイン側主制御部８１０には、データ受信準備部２０が含まれている。データ受信準備部２０は、センサ付きサブ表示装置２３０からデータの受信準備を行うように指示を受けたとき、またはこれからメイン表示装置２１０にデータが送信される旨の通知を受けたときに、受信するデータの種別やデータの送信元（例えば外部装置４００）に応じて、当該データをスムーズにユーザに提示するための準備を行う。

例えば、外部装置４００から画像が送信される旨の通知を受けたときには、データ受信準備部２０は、データの送信元である外部装置４００との通信接続を行い、現在表示中のウィンドウの有無を確認し、表示しているウィンドウがあれば、これを最小化し、画像閲覧用のアプリケーションプログラムを起動させる。これにより、ユーザは、メイン表示装置２１０において、スムーズに画像を閲覧等することができる。

〔センサ付きサブ表示装置２３０の構成〕
センサ付きサブ表示装置２３０は、図１に示すように、有線通信部９３４を介してメイン表示装置２１０と接続していると共に、近距離無線通信部９３５を介して外部装置４００と通信可能に構成されている。

また、センサ付きサブ表示装置２３０のサブ側主制御部８３０には、機器検索部（機器検出手段）１０、格納データ情報取得部（選択検出手段、リスト送信要求手段）１１、格納データ送信要求部１２、格納データ受信前処理指示部（データ送信通知手段）１３、表示処理部（処理選択情報表示手段、処理実行指示手段）１４、スキャン処理部１５、及び画像編集部（編集情報送信手段）１６が含まれている。

機器検索部１０は、近距離無線通信部９３５を介して通信可能な外部機器を検索する。具体的には、機器検索部１０は、近距離無線通信部９３５を介して自装置の外部に応答要求をブロードキャスト送信し、送信した応答要求に対する応答の有無を確認することによって、近距離無線通信部９３５を介して通信可能な外部機器を検索する。なお、外部機器とは、メイン表示装置２１０にデータを提供することのできる機器であり、例えば外部装置４００である。

また、機器検索部１０は、近距離無線通信部９３５を介して通信可能な外部機器を検出したときに、該検出した機器と通信接続を確立する。具体的には、機器検索部１０は、まず、検出した機器に対して、接続要求を送信する。そして、この接続要求を受信した機器が、接続許可をセンサ付きサブ表示装置２３０に送信することにより、センサ付きサブ表示装置２３０と外部機器との近距離無線通信部９３５を介した通信接続が確立される。なお、通信接続を確立する相手機器は、１台であってもよいし、複数台であってもよい。

格納データ情報取得部１１は、近距離無線通信部９３５を介した通信接続が確立された外部機器の格納データ情報を取得する。具体的には、格納データ情報取得部１１は、近距離無線通信部９３５を介した通信接続が確立された外部機器に対して格納データ情報要求を送信し、この格納データ情報要求に対して返信される格納データ情報を取得する。

また、格納データ情報取得部１１は、取得した格納データ情報を、表示処理部１４に指示してセンサ内蔵液晶パネル３０１に表示させる。さらに、格納データ情報取得部１１は、スキャン処理部１５が検出するセンサ内蔵液晶パネル３０１への接触位置座標に基づいて、表示させた格納データ情報に対する選択操作が行われたか否かを判断する。そして、格納データ情報取得部１１は、格納データ情報が選択されたと判断したときには、その旨を格納データ送信要求部１２及び格納データ受信前処理指示部１３に伝達する。

格納データ情報は、外部機器（例えば外部装置４００）が他の装置（例えばメイン表示装置２１０）に提供可能なデータを示すものである。格納データ情報をセンサ付きサブ表示装置２３０に表示することによって、センサ付きサブ表示装置２３０のユーザは、提供を受けることのできるデータを確認することができる。

また、格納データ情報には、表示された当該格納データ情報に対応するデータ本体を取得するために必要な情報（例えばデータ本体を格納している装置の通信アドレスやＵＲＩ（Uniform Resource Identifier））が含まれている。これにより、センサ付きサブ表示装置２３０は、選択された格納データ情報のデータ本体を、メイン表示装置２１０等に送信させることができる。

なお、ここでは、格納データ情報が、外部機器が格納している画像のうち、他の装置に送信可能な画像のサムネイル画像であることを想定しているが、画像の格納データ情報は、必ずしもサムネイル画像とする必要はなく、例えば画像のファイル名等を格納データ情報としてもよい。しかしながら、格納データ情報をサムネイル画像とした場合には、センサ付きサブ表示装置２３０にはこのサムネイル画像が表示され、これによりセンサ付きサブ表示装置２３０のユーザが画像の内容を一目で認識することができるので好ましい。

また、格納データ情報は、画像に関するものに限られない。例えば、格納データ情報を、外部機器が他の装置に提供可能な音声、動画像、文書等のデータを示すものとしてもよい。具体的には、音声データのファイル名、動画像データのサムネイル画像またはファイル名、文書データのファイル名等を格納データ情報とすることもできる。

さらに、格納データ情報は、該格納データ情報の送信元の機器が格納していないデータ及び該データの格納先を示すものであってもよい。例えば、データ名とデータの格納先アドレスとが対応付けられたデータであってもよいし、ＵＲＩであってもよい。

また、複数の外部機器と通信接続を行い、複数の外部機器のそれぞれから格納データ情報を受信して表示するようにしてもよい。これにより、近距離無線通信部９３５の通信可能範囲内に存在する各機器が、他の装置（例えばメイン表示装置２１０）に提供可能なデータを、センサ付きサブ表示装置２３０において一度に把握することができ、またそのデータを上記他の装置に送信させることができる。

格納データ送信要求部１２は、上記格納データ情報が示すデータの本体を送信させる処理を行う。ここでは、格納データ情報がサムネイル画像であることを想定しているので、格納データ送信要求部１２は、サムネイル画像が選択されたときに、選択されたサムネイル画像の本体（元画像）を送信するように要求する。

なお、格納データ送信要求部１２は、データ本体の送信先として、センサ付きサブ表示装置２３０、またはそれ以外の装置（例えばメイン表示装置２１０）を指定する。送信先を何れの装置とするかは、ユーザが行った入力操作に応じて決定される。なお、格納データ送信要求部１２は、送信先をセンサ付きサブ表示装置２３０とした場合には、センサ付きサブ表示装置２３０にて受信したデータをユーザの指定する送信先に転送する。

格納データ受信前処理指示部１３は、センサ内蔵液晶パネル３０１に表示された格納データ情報が、ユーザによって選択されたことが検出されたときに、選択された格納データ情報に対応するデータ本体が送信される装置（例えばメイン表示装置２１０）に対して、これからデータ本体が送信される旨を通知する。これにより、データ本体を受信する装置は、データの受信準備を行うことができるので、スムーズに上記データ本体を受信して、これを出力することができる。

なお、この通知は、単にデータが受信されることを通知するものであってもよいし、データの受信準備を指示するものであってもよい。また、この通知には、データ本体の送信元を示す情報（例えば通信アドレス等）、及びデータの種別（静止画像、動画像、音声、文書等）を示す情報が含まれていてもよい。なお、データの種別は、データファイルの拡張子等から判断することができる。

表示処理部１４は、格納データ情報取得部１１の指示に従い、センサ内蔵液晶パネル３０１に画像を表示する処理を行う。例えば、表示処理部１４は、格納データ情報取得部１１が格納データ情報としてサムネイル画像を取得したときには、格納データ情報取得部１１から上記サムネイル画像の表示指示が表示処理部１４に送信される。表示処理部１４は、この指示に従って上記サムネイル画像をセンサ内蔵液晶パネル３０１に表示する。

また、表示処理部１４は、センサ内蔵液晶パネル３０１に表示させた格納データ情報が選択されたときには、選択された格納データ情報の種別に応じたメニュー画面を表示させる（図１７（ｂ）参照）。

スキャン処理部１５は、格納データ情報取得部１１の指示に従い、センサ内蔵液晶パネル３０１に像を検知させて取得した検知結果を出力する。具体的には、スキャン処理部１５は、「データ取得タイミング」フィールドの値を“イベント”とし、「データ種別」フィールドを“001”（座標）としたコマンドをデータ処理部７３０に送信する。これにより、データ処理部７３０は、表示／光センサ回路制御部６３０から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、所定の閾値より大きい変化が生じた座標をスキャン処理部１５に送信する。

スキャン処理部１５は、この座標を格納データ情報取得部１１に伝達する。そして、伝達を受けた格納データ情報取得部１１は、現在表示されている各格納データ情報の表示領域の何れかに上記座標が含まれているかを確認し、座標が含まれている表示領域に表示されている格納データ情報が選択されたと判断する。

また、スキャン処理部１５は、画像編集部１６の指示に従い、センサ内蔵液晶パネル３０１に像を検知させて取得した検知結果を出力する。このときのスキャンは、センサ内蔵液晶パネル３０１上を移動する指やペン先の軌跡を検出して、ジェスチャ入力や文字入力を行うためのものであり、上記の場合と異なるコマンドが使用される。

画像編集部１６は、格納データ情報としてサムネイル画像が表示されているときに、該表示されているサムネイル画像に対する編集操作を受け付けて、編集操作の内容を示す編集情報を生成する。そして、画像編集部１６は、生成した編集情報を、編集操作が行われたサムネイル画像の元画像を格納している装置、または元画像の送信先装置に送信することによって、上記編集操作の内容を元画像に反映させる。

〔外部装置４００の構成〕
外部装置４００は、図１に示すように、有線／無線ネットワーク通信部４０１、通信制御部４０２、近距離無線通信部４０３、記憶部４０４、及び主制御部４０５を含み、主制御部４０５は、接続処理部４０６、格納データ情報送信部４０７、及び格納データ送信部４０８を含む構成である。

有線／無線ネットワーク通信部４０１、通信制御部４０２、及び近距離無線通信部４０３は、メイン表示装置２１０が備える有線／無線ネットワーク通信部９１６、通信制御部９１３、近距離無線通信部９１５と同様の構成である。

すなわち、外部装置４００は、通信制御部４０２の制御の下、有線／無線ネットワーク通信部４０１を介して外部の装置（例えばメイン表示装置２１０）と通信を行うことができると共に、近距離無線通信部４０３を介して自装置の近辺（Ｂｌｕｅｔｏｏｔｈ通信圏内）に存在する外部の装置（例えばメイン表示装置２１０やセンサ付きサブ表示装置２３０）と通信を行うことができるようになっている。

記憶部４０４は、主制御部４０５が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録する。また、記憶部４０４は、画像等のデータを記録する。記憶部４０４のこれらの機能は、フラッシュメモリなどの不揮発性の記憶装置によって実現することもできる。

さらに、記憶部４０４は、主制御部４０５が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用されるＲＡＭなどの揮発性の記憶装置を含む。

主制御部４０５は、外部装置４００が備える各部の動作を制御するものである。主制御部４０５は、記憶部４０４に記憶されている各種プログラムを読み出して、外部装置４００の各部を制御し、外部装置４００が備える各種機能を実現する。具体的には、外部装置４００の主な機能は、接続処理部４０６、格納データ情報送信部４０７、及び格納データ送信部４０８によって実現される。

すなわち、接続処理部４０６は、応答要求の受信を確認したときに、該応答要求の送信元に応答を送信する。また、接続処理部４０６は、接続要求の受信を確認したときに、該接続要求の送信元の装置と接続処理を行って近距離無線通信部４０３を介した通信接続を確立する。

また、格納データ情報送信部４０７は、格納データ情報要求を受信したときに、提供可能なデータを示す格納データ情報を生成して、当該格納データ情報要求の送信元の装置（ここではセンサ付きサブ表示装置２３０）に送信する。

具体的には、格納データ情報送信部４０７は、記憶部４０４に格納されている画像からサムネイル画像を抽出して、抽出したサムネイル画像を格納データ情報としてセンサ付きサブ表示装置２３０に送信する。

なお、記憶部４０４に格納されている全てのデータについて格納データ情報を生成して送信した場合には、外部装置４００のユーザが提供したくないデータについても格納データ情報に含まれるおそれがある。また、記憶部４０４に多数のデータが格納されている場合には、格納データ情報の生成に時間がかかってしまう。

そこで、外部装置４００では、予め格納データ情報として送信してもよいデータと、そうではないデータとを区別して管理しておき、格納データ情報として送信してもよいデータとして管理されているデータについてのみ、格納データ情報を生成することが好ましい。また、格納データ情報要求を受信したときに、格納データ情報として送信するデータをユーザに選択させるようにしてもよい。

そして、格納データ送信部４０８は、格納データ情報送信部４０７が送信した格納データ情報のデータ本体の送信要求を受信したときに、要求されたデータ本体を指定された装置に対して送信する。

具体的には、センサ付きサブ表示装置２３０において、サムネイル画像が選択されたときには、選択されたサムネイル画像のファイル名と送信先（例えばメイン表示装置２１０）とを含むデータ送信要求が送信される。このデータ送信要求の受信を確認した格納データ送信部４０８は、記憶部４０４から、データ送信要求が示すファイル名と同名の画像を検索し、検出した画像を上記送信先に送信する。

なお、格納データ情報が示すデータ本体が記憶部４０４に格納されておらず、その代わりにデータ送信要求と共に、データ本体の格納先を示す情報（通信アドレス等）を受信したときには、格納データ送信部４０８は、当該データの格納元に上記送信要求を転送する。

〔センサ付きサブ表示装置２３０が実行する処理の流れ〕
以上のように、センサ付きサブ表示装置２３０は、外部装置４００及びメイン表示装置２１０と通信可能に構成されており、外部装置４００はメイン表示装置２１０と通信可能に構成されている。そして、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１には、外部装置４００が提供可能な画像のサムネイル画像が表示され、表示されたサムネイル画像を選択することにより、メイン表示装置２１０には選択されたサムネイル画像の元画像の準備指示が送信されると共に、元画像が外部装置４００からメイン表示装置２１０に送信されて表示されるようになっている。

以下では、上記の機能を実現するために、センサ付きサブ表示装置２３０が行う処理の流れについて、図１８に基づいて説明する。図１８は、センサ付きサブ表示装置２３０が行う処理の一例を示すフローチャートである。

まず、機器検索部１０は、機器検索を実行し（Ｓ１）、近距離無線通信部９３５を介して通信可能な外部の装置（ここでは外部装置４００）が検出されたか否かを確認する（Ｓ２）。具体的には、機器検索部１０は、近距離無線通信部９３５を介して応答要求を自装置の外部にブロードキャスト送信し、送信した応答要求に対する応答の有無を確認することによって、外部装置４００が検出されたか否かを確認する。ここで、外部装置４００の検出が確認されなかった場合（Ｓ２でＮＯ）には、処理はＳ１に戻り、機器検索部１０は、再び機器検索を行う。

一方、外部装置４００の検出が確認された場合（Ｓ２でＹＥＳ）には、機器検索部１０は、外部装置４００と接続処理を行う（Ｓ３）。具体的には、機器検出部１０は、検出した外部装置４００に対して接続要求を送信し、外部装置４００から接続許可を受信して、通信接続を確立する。なお、同図には示していないが、接続要求送信後、所定時間内に接続許可の受信が確認できない場合にはＳ１の処理に戻る。

外部装置４００との通信接続が確立されると、機器検索部１０はその旨を格納データ情報取得部１１に伝達する。そして、伝達を受けた格納データ情報取得部１１は、確立された通信接続を介して外部装置４００に格納データ情報要求を送信する（Ｓ４）。

これにより、外部装置４００から格納データ情報が送信されるので、格納データ情報取得部１１は、これを取得し、表示処理部１４に指示してセンサ内蔵液晶パネル３０１に表示させる（Ｓ５）。そして、格納データ情報取得部１１は、表示させた格納データ情報に対する選択操作を待ち受ける（Ｓ６）。

また、ここで、格納データ情報としてサムネイル画像が表示されている場合には、画像編集部１６は、サムネイル画像に対する編集操作を待ち受ける。ここでは、画像の回転、及び手書き文字の追加という２つの編集操作が可能であることを想定している。

具体的には、回転させたいサムネイル画像に指やペン先などで触れて、回転させたい方向に指やペン先などを移動させるジェスチャ入力により、回転させる編集操作を行うことを想定している。また、回転させたいサムネイル画像上を指やペン先などでなぞった軌跡を画像に合成することで、手書き文字の追加という編集操作を行うことを想定している。無論、編集の内容及び編集操作の方法は、これらの例に限られない。

画像編集部１６は、スキャン処理部１５に指示してセンサ内蔵液晶パネル３０１にスキャンを実行させることによって、上記の編集操作の有無を判定する。そして、編集操作が行われたと判定したときには、編集操作の内容（画像の回転方向及び回転角度、または手書き文字の内容）と、編集操作の対象となったサムネイル画像とを対応付けて、これを編集情報として記憶する。

なお、この編集情報は、元画像を格納している装置、または元画像の送信先の装置に送信され、当該装置において元画像に反映される。例えば、図１７の例において、センサ内蔵液晶パネル３０１に表示されている「Ａ」のサムネイル画像を右回りに９０度回転させる編集操作が行われた後で、「Ａ」のサムネイル画像が選択されたときには、外部装置４００に対して「右回りに９０度回転させる」ことを示す編集情報が送信されると共に、「Ａ」の元画像をメイン表示装置２１０に送信するように要求が送信される。これにより、外部装置４００は、「Ａ」の元画像を右回りに９０度回転させてメイン表示装置２１０に送信する。この結果、メイン表示装置２１０では、「Ａ」の元画像を右回りに９０度回転させた画像が表示される。また、編集情報をメイン表示装置２１０に送信した場合には、「Ａ」の元画像を受信したメイン表示装置２１０において、「Ａ」の元画像を右回りに９０度回転させて表示させる処理が行われる。

画像編集部１６による編集操作の待ち受けは、Ｓ６において選択操作が検出するまで継続する。なお、選択操作は、上述のように、格納データ情報取得部１１がスキャン処理部１５にセンサ内蔵液晶パネル３０１への接触を検知させることによって検出される。

したがって、選択操作は、格納データ情報取得部１１が、編集操作と誤認識しないようなものとする必要がある。例えば、２回連続タッチする操作を選択操作とすることにより、選択操作と編集操作とを識別することが可能である。また、編集操作の開始時及び終了時に、所定の入力操作を行うようにしておき、編集操作中には選択操作を検出しないようにしてもよい。そして、選択操作または編集操作の何れかまたは両方をキー入力等の入力方法によって行うようにしてもよい。

ここで、格納データ情報取得部１１は、スキャン処理部１５から取得した座標が、現在表示している格納データ情報の何れの表示領域にも含まれていないと判断した場合には、格納データ情報取得部１１は、選択操作がなかったと判断して（Ｓ６でＮＯ）、処理はＳ５に戻る。

一方、スキャン処理部１５から取得した座標が何れかの格納データ情報の表示領域に含まれている場合には、格納データ情報取得部１１は、上記座標が含まれる表示領域に表示されている格納データ情報が選択されたと判断する。なお、２回連続タッチを選択操作とした場合には、同じ表示領域に含まれる座標が所定時間内に２回検出されたときに格納データ情報が選択されたと判断する。

そして、格納データ情報取得部１１は、選択されたと判断した格納データ情報が示すデータ本体のファイル名、及び該データ本体を格納している装置を示す情報（例えば通信アドレス）を格納データ送信要求部１２に伝達する。

また、格納データ情報取得部１１は、選択されたと判断した格納データ情報が示すデータ本体のデータ種別（例えばファイル形式）、及び該データ本体を格納している装置を示す情報（格納データ送信要求部１２に伝達したものと同じ情報）を格納データ受信前処理指示部１３に伝達する。

伝達を受けた格納データ送信要求部１２は、データ本体を格納している装置（ここでは外部装置４００）に対して、データ本体をメイン表示装置２１０に送信するように要求する（Ｓ７）。また、伝達を受けた格納データ受信前処理指示部１３は、メイン表示装置２１０に、上記データ本体の種別及び該データ本体を格納している装置を示す情報を送信して、データの受信準備を実行させる（Ｓ８）。

Ｓ７及びＳ８の処理により、上記データ本体が外部装置４００からメイン表示装置２１０に送信される。そして、上記データ本体が送信されるときには、メイン表示装置２１０においてデータの受信準備が行われているから、メイン表示装置２１０では上記データ本体をスムーズに提示等することが可能になる。

また、格納データ情報取得部１１は、格納データ情報が選択されたと判断したときには、その旨を表示処理部１４にも伝達する。そして、伝達を受けた表示処理部１４は、センサ内蔵液晶パネル３０１に、上記選択された格納データ情報が示すデータ本体の種別に応じたメニュー画面を表示させる（Ｓ９）。

具体的には、表示処理部１４は、上記選択された格納データ情報が示すデータが画像であれば、「転送」、「保存」、「印刷」、「編集」、「拡大表示」、「縮小表示」等の選択項目を含むメニュー画面を表示する。また、上記選択された格納データ情報が示すデータが音声データや動画像データであれば、「転送」、「保存」、「再生」、「停止」、「早送り」、「早戻し」等の選択項目を含むメニュー画面を表示する。

そして、表示処理部１４は、表示させたメニュー画面に含まれる選択項目が選択されるのを待ち受ける（Ｓ１０）。具体的には、表示処理部１４は、スキャン処理部１５が検出した、センサ内蔵液晶パネル３０１上の接触位置を示す座標を受信し、受信した座標が何れの選択項目の表示領域に含まれるかを判断することによって、ユーザが選択した選択項目を判断する。

何れかの選択項目が選択されたと判断した場合（Ｓ１０でＹＥＳ）には、表示処理部１４は、上記選択されたと判断した選択項目に対応する処理を実行する（Ｓ１１）。例えば、「転送」の選択項目が選択されたときには、表示処理部１４は、転送先のリストをセンサ内蔵液晶パネル３０１に表示する。なお、転送先のリストは記憶部９３１等に予め格納しておけばよい。また、メイン表示装置２１０から取得するようにしてもよい。そして、表示したリストから転送先が選択されたときには、表示処理部１４は、メイン表示装置２１０に、上記選択された転送先にデータ本体（元画像）を送信するように指示する。

以上のようにして、選択された項目に対する処理が終了すると、処理はＳ５に戻る。これにより、センサ内蔵液晶パネル３０１には、再び格納データ情報が表示される。

なお、上記Ｓ７からＳ９の処理は、必ずしも図１８に示す順序で行う必要はなく、順序を入れ替えてもよいし、同時平行で行うようにしてもよい。

〔外部装置４００が実行する処理の流れ〕
続いて、センサ付きサブ表示装置２３０が上述の処理（図１８参照）を実行しているときに、外部装置４００が行う処理の流れについて、図１９に基づいて説明する。図１９は、外部装置４００が行う処理の一例を示すフローチャートである。

まず、接続処理部４０６は、接続要求の受信を待ち受ける（Ｓ２１）。ここで、接続要求の受信が確認された場合（Ｓ２１でＹＥＳ）には、接続処理部４０６は、接続処理を行い（Ｓ２２）、センサ付きサブ表示装置２３０との近距離無線通信部４０３を介した通信接続を確立する。

通信接続が確立されると、格納データ情報送信部２２は、格納データ情報要求の受信を待ち受ける（Ｓ２３）。ここで、格納データ情報要求の受信が確認された場合（Ｓ２３でＹＥＳ）には、格納データ情報送信部４０７は、格納データ情報を生成してセンサ付きサブ表示装置２３０に送信する（Ｓ２４）。

そして、格納データ情報が送信されると、格納データ送信部４０８は、格納データ要求の受信を待ち受ける（Ｓ２５）。ここで、格納データ要求の受信が確認された場合（Ｓ２５でＹＥＳ）には、格納データ送信部４０８は、データ要求と共に受信されるデータの送信先を示す情報に基づいて特定した送信先に対して、上記要求されたデータを記憶部４０４から読み出して送信する（Ｓ２６）。

なお、Ｓ２５において、要求を受けたデータが記憶部４０４に格納されていないときには、格納データ送信部４０８は、当該データを格納している装置に、上記受信した格納データ要求を転送する。また、ここでは、データの送信を、近距離無線通信部９１５を用いて行うことを想定しているが、有線／無線ネットワーク通信部４０１を用いて送信を行うようにしてもよい。

以上のようにしてデータを送信すると、処理はＳ２５に戻り、格納データ送信部４０８は、再び格納データ要求の受信を待ち受ける。

〔メイン表示装置２１０が実行する処理の流れ〕
次に、センサ付きサブ表示装置２３０が上述の処理（図１８参照）を実行し、外部装置４００が上述の処理（図１９参照）を実行しているときに、メイン表示装置２１０が行う処理の流れについて、図２０に基づいて説明する。図２０は、メイン表示装置２１０が行う処理の一例を示すフローチャートである。

まず、データ受信準備部２０は、センサ付きサブ表示装置２３０からの受信準備指示（データが受信される旨の通知）の受信を待ち受ける（Ｓ３１）。上述のように、センサ付きサブ表示装置２３０は、受信準備指示と共に、センサ内蔵液晶パネル３０１に表示されている格納データ情報のうち、ユーザが選択した格納データ情報が示すデータ本体の種別及び該データ本体を格納している装置を示す情報を送信する。したがって、受信準備指示が受信されたときには、これらの情報についても受信される。

ここで、受信準備指示の受信が確認された場合（Ｓ３１でＹＥＳ）には、データ受信準備部２０は、現在表示部３１０に表示されているウィンドウの有無を確認し、表示されているウィンドウがあれば最小化する（Ｓ３２）。

また、データ受信準備部２０は、センサ付きサブ表示装置２３０から受信した、ユーザが選択した格納データ情報が示すデータを格納している装置を示す情報によって特定される装置（ここでは外部装置４００）と接続処理を行い（Ｓ３３）、当該装置と通信接続を確立する。

さらに、データ受信準備部２０は、センサ付きサブ表示装置２３０から受信した、ユーザが選択した格納データ情報が示すデータ本体の種別に応じたアプリケーションプログラムを起動させる。ここでは、画像を受信することを想定しているので、画像閲覧用のアプリケーションプログラムを起動させる（Ｓ３４）。

そして、Ｓ３３にて確立した通信接続を介してメイン表示装置２１０にデータ（ここでは画像）が送信され、受信した画像は、Ｓ３４で起動されたアプリケーションプログラムによって、メイン表示装置２１０の表示部３１０に表示される（Ｓ３５）。画像が表示された後は、Ｓ３１の処理に戻る。

なお、上記Ｓ３２からＳ３４の処理は、必ずしも図２０に示す順序で行う必要はなく、順序を入れ替えてもよいし、同時平行で行うようにしてもよい。

〔変形例〕
上述の例では、外部装置４００がメイン表示装置２１０にデータを送信して表示させる例について説明したが、データの送信先は、メイン表示装置２１０に限られない。図２１に示すように、様々な外部装置に対してデータを送信することが可能である。図２１は、画像の送信先の例を示す図である。

図２１では、携帯電話が格納している画像を、メイン表示装置２１０、プリンタ、フォトフレーム、またはＴＶ（テレビジョン受像機）に送信する例を示している。なお、フォトフレームは、画像を受信して表示する機能を備えた電子機器である。

まず、センサ付きサブ表示装置２３０は、近距離無線通信部９３５の通信圏内に携帯電話を検出すると、該携帯電話に格納データ情報要求を送信する。これにより、図示のように、携帯電話は、センサ付きサブ表示装置２３０にサムネイル画像（格納データ情報）を送信し、センサ付きサブ表示装置２３０は受信したサムネイル画像を表示する。

ここで、上述の例では、表示したサムネイル画像のうち、ユーザの選択があったサムネイル画像の元画像をメイン表示装置２１０に送信させると共に、メイン表示装置２１０に元画像の受信準備を指示していた。しかしながら、図示のように、元画像及び受信準備指示の送信先は、メイン表示装置２１０に限られない。

例えば、携帯電話が格納している元画像を印刷するときには、センサ付きサブ表示装置２３０は、携帯電話に対して、元画像をプリンタに送信するように指示すると共に、プリンタに受信準備指示を送信する。そして、受信準備指示を受けたプリンタにおいて受信準備が行われることにより、プリンタではスムーズに画像の印刷が行われる。

この場合の受信準備としては、例えば携帯電話との通信接続を行う、ウォームアップを行う、他の処理を実行している場合に、該他の処理に割り込ませて受信した画像を印刷するように設定する、同じく他の処理を実行している場合に、該他の処理の終了直後に受信した画像を印刷するように予約する等が挙げられる。

同様に、携帯電話が格納している元画像をフォトフレームやＴＶに表示させるときには、センサ付きサブ表示装置２３０は、携帯電話に対して、元画像をフォトフレームまたはＴＶに送信するように指示すると共に、フォトフレームまたはＴＶに受信準備指示を送信する。そして、受信準備指示を受けたフォトフレームまたはＴＶにおいて受信準備が行われることにより、フォトフレームまたはＴＶではスムーズに画像の表示が行われる。

この場合の受信準備としては、例えば携帯電話との通信接続を行う、テレビ放送等の他のデータソースからの映像を出力している場合に、受信した画像を出力するように切り替える、同じく他の映像を出力している場合に、表示領域を分割して現在出力中の映像と受信した画像との両方を表示可能な状態とする等が挙げられる。

以上のように、元画像の送信先は、メイン表示装置２１０に限られず、元画像を表示、印刷、編集、保存等するものであれば任意の装置とすることができる。また、送信するデータが音声データや動画像データである場合には、音声データまたは動画像データを出力、編集、保存等するものであれば任意の装置を送信先とすることができる。つまり、送信するデータの種別に応じた任意の装置をデータの送信先とすることができる。

なお、このように、元画像の送信先の候補が複数ある場合には、センサ付きサブ表示装置２３０に表示されたサムネイル画像を選択したときに、すぐにメイン表示装置２１０に元画像を送信させるのではなく、センサ付きサブ表示装置２３０に送信先の候補を表示させ、ユーザに所望の送信先を選択させるようにすることが好ましい。

また、上述の例では、受信準備指示を受けたメイン表示装置２１０が主体的に受信の準備を行う例について説明した。つまり、上述の例における準備指示は、「これからデータが受信される」ということを単に予告するものであった。しかしながら、準備指示は、具体的な処理を指定するものであってもよい。

例えば、センサ付きサブ表示装置２３０に表示されたサムネイル画像が選択されたときにメイン表示装置２１０に送信する準備指示は、携帯電話との通信接続を開始させるコマンド、起動しているウィンドウがあればこれを最小化させるコマンド、及び画像閲覧用のソフトウェアを起動させるコマンド等を含むものであってもよい。また、プリンタ等の電源が入っていないことも考えられるので、電源をＯＮにするコマンドを準備指示と共に送信するようにしてもよい。この場合には、メイン表示装置２１０は、受信したコマンドに従って動作するだけでよいので、データ受信準備部２０を備えている必要はない。

また、上述の例では、センサ付きサブ表示装置２３０がサムネイル画像の表示、元画像の送信指示、及び元画像の受信準備指示を行う例について説明したが、これらの処理の主体は、画像を表示する機能と、画像の送信先と通信する機能とを備えているものであればよく、センサ付きサブ表示装置２３０に限られない。例えば、携帯電話機やＰＤＡ、携帯型ゲーム機、モバイルＰＣ等が、サムネイル画像の表示、元画像の送信指示、及び元画像の受信準備指示を行うようにしてもよい。

さらに、上述の例では、センサ付きサブ表示装置２３０がセンサ内蔵液晶パネル３０１を備えている構成について説明したが、センサ付きサブ表示装置２３０は、格納データ情報を表示して、表示した格納データ情報をユーザに選択させることができるものであればよく、上記の構成に限られない。例えば、特許文献１から４のような構成にて、画像の表示と入力操作の検出とを行うようにしてもよいし、格納データ情報の選択をキー入力操作で受け付けるようにしてもよい。

また、上述の例では、データ本体を格納している外部装置４００が、メイン表示装置２１０に対して直接にデータ本体を送信する例について説明したが、センサ付きサブ表示装置２３０を経由してデータ本体を送信するようにしてもよい。

すなわち、センサ付きサブ表示装置２３０と外部装置４００との間では、格納データ情報を送受信するために通信接続が確立されている。したがって、センサ付きサブ表示装置２３０は、この通信接続を利用することにより、データ本体を容易に取得することができる。

そして、データ本体の最終的な送信先がメイン表示装置２１０である場合には、センサ付きサブ表示装置２３０は、有線通信接続を介して即座にメイン表示装置２１０に送信することができる。

なお、センサ付きサブ表示装置２３０経由でデータ本体を送信する場合においても、センサ付きサブ表示装置２３０は、格納データ情報が選択されたときに、データ本体を受信する装置に対して、データ本体を送信する旨の通知を送る。これにより、データ本体を受信する装置が、データ本体をスムーズに受信することが可能になる。

ここで、データ本体の最終的な送信先がメイン表示装置２１０ではない場合には、近距離無線通信部９３５を介してデータ本体を送信することになるが、最終的な送信先が近距離無線通信部９３５との通信接続機能を有していないことや、近距離無線通信部９３５の通信可能圏外に位置していることも考えられる。

そこで、このような場合には、センサ付きサブ表示装置２３０は、メイン表示装置２１０の有線／無線ネットワーク通信部９１６を介してデータ本体を送信させるようにすればよい。これにより、近距離無線通信部９３５との通信接続機能を有していない装置や、近距離無線通信部９３５の通信可能圏外に位置している装置に対してもデータ本体を送信することができる。

また、メイン表示装置２１０は、ノート型ＰＣであるから、タッチパッドサイズのセンサ付きサブ表示装置２３０や、携帯電話機等と比べて、データ送信のためのメモリ容量を確保しやすい。そこで、格納データ情報と共に、データ本体のサイズを示す情報を取得して、一定以上のサイズのデータ本体を送信する場合には、データ本体の送信をメイン表示装置２１０経由とするようにしてもよい。これにより、大きいサイズのデータ本体を所望の送信先装置に速やかに送信することが可能になる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、センサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００の各ブロック、特にサブ側主制御部８３０、メイン側主制御部８１０、及び主制御部４０５は、上述のようにＣＰＵを用いてソフトウェアによって実現することができる。

すなわち、センサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるセンサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記センサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、センサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

無論、センサ付きサブ表示装置２３０、メイン表示装置２１０、及び外部装置４００の各ブロックは、ハードウェアロジックによって構成することも可能である。

本発明によれば、データ受信装置に、データを提供するデータ提供装置からスムーズにデータを受信して出力させることが可能になる。本発明は、データ提供装置が提供可能なデータのリストを表示し、表示したリストの中からユーザが選択したデータを、上記データ提供装置からデータ受信装置に送信させる装置であれば、任意の装置に適用することができる。例えば、携帯電話機、ＰＤＡ、携帯型ゲーム機、モバイルＰＣ等に好適に適用することができる。

本発明の実施形態を示すものであり、センサ付きサブ表示装置、メイン表示装置、及び通信端末装置の要部構成を示すブロック図である。 同図（ａ）は、上記センサ付きサブ表示装置及びメイン表示装置を含む２画面表示装置の具体例を示す模式図であり、同図（ｂ）は、同図（ａ）に示したノートＰＣにおいて、メイン表示装置とセンサ付きサブ表示装置とを分離した状態を示す模式図である。 上記センサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 同図（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記メイン表示装置及びセンサ付きサブ表示装置の要部構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部、及びデータ処理部のより詳細な構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。 サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。 サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 装置間コマンドのフレーム構造の一例を示す模式図である。 スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。 スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。 表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。 処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。 同図（ａ）は、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図であり、同図（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図である。 上記表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 上記２画面表示装置の動作例を示す図であり、同図（ａ）は外部装置から受信したサムネイル画像を表示した後、表示したサムネイル画像が選択されるまでの状態を示し、同図（ｂ）サムネイル画像が選択された後の状態を示している。 上記センサ付きサブ表示装置が行う処理の一例を示すフローチャートである。 上記メイン表示装置が行う処理の一例を示すフローチャートである。 上記外部装置が行う処理の一例を示すフローチャートである。 上記センサ付きサブ表示装置の指示に従って送信される画像の送信先の例を示す図である。

符号の説明

１０ 機器検索部（機器検出手段）
１１ 格納データ情報取得部（選択検出手段、リスト送信要求手段）
１２ 格納データ送信要求部
１３ 格納データ受信前処理指示部（データ送信通知手段）
１４ 表示処理部（処理選択情報表示手段、処理実行指示手段）
１５ スキャン処理部
１６ 画像編集部（編集情報送信手段）
２００ ２画面表示装置（電子機器）
２１０ メイン表示装置（データ受信装置）
２３０ センサ付きサブ表示装置（データ受信支援装置）
４００ 外部装置（データ提供装置）
９３５ 近距離無線通信部

Claims (8)

1. データ提供装置が提供可能なデータを示す提供可能データリストを表示部に表示し、表示した上記提供可能データリストの中からユーザが選択したデータを、上記データ提供装置に指示してデータ受信装置に送信させるデータ送信支援装置であって、
   上記提供可能データリストの中からデータが選択されたことを検出する選択検出手段と、
   上記選択検出手段がデータの選択を検出したときに、上記データが送信されることを上記データ受信装置に通知するデータ送信通知手段とを備えていることを特徴とするデータ送信支援装置。
2. 上記表示部は、画像の表示機能と共に、当該表示部へのユーザの接触を検知する機能を有し、
   上記選択検出手段は、上記表示部が検知したユーザの接触位置に表示されているデータが選択されたと判断することを特徴とする請求項１に記載のデータ送信支援装置。
3. 自装置から所定範囲内に存在するデータ提供装置と通信可能な近距離無線通信部と、
   上記所定範囲内に存在するデータ提供装置を検出する機器検出手段と、
   上記機器検出手段が検出したデータ提供装置に対して上記提供可能データリストの送信を要求するリスト送信要求手段とを備えていることを特徴とする請求項１または２に記載のデータ送信支援装置。
4. 上記提供可能データリストには、上記データ提供装置が提供可能な画像のサムネイル画像が含まれており、
   上記提供可能データリストとして表示された上記サムネイル画像に対してユーザが編集操作を行ったときに、該編集操作の内容を示す編集情報を上記データ提供装置または上記データ受信装置に送信する編集情報送信手段を備えていることを特徴とする請求項１から３の何れか１項に記載のデータ送信支援装置。
5. 上記選択検出手段がデータの選択を検出したときに、選択が検出されたデータに対して上記データ受信装置が実行可能な処理の候補を示す処理選択情報を表示する処理選択情報表示手段と、
   上記処理選択情報表示手段が表示した上記処理選択情報が選択されたときに、該選択された処理選択情報に対応する処理を上記データ受信装置に実行させる処理実行指示手段とを備えていることを特徴とする請求項１から４の何れか１項に記載のデータ送信支援装置。
6. 上記データ送信通知手段は、上記データが送信されることを上記データ受信装置に通知すると共に、上記データ受信装置が上記データを受信して出力するために必要な処理の実行指示を、当該データ受信装置に送信することを特徴とする請求項１から５の何れか１項に記載のデータ送信支援装置。
7. 請求項１から６の何れか１項に記載のデータ送信支援装置と上記データ受信装置とが有線通信接続されてなる電子機器。
8. データ提供装置が提供可能なデータを示す提供可能データリストを表示部に表示し、表示した上記提供可能データリストの中からユーザが選択したデータを、上記データ提供装置に指示してデータ受信装置に送信させるデータ送信支援装置の制御方法であって、
   上記提供可能データリストの中からデータが選択されたことを検出する選択検出ステップと、
   上記選択検出ステップにてデータの選択を検出したときに、上記データが送信されることを上記データ受信装置に通知するデータ送信通知ステップとを含むことを特徴とするデータ送信支援装置の制御方法。

Images