JP2010108446A - 情報処理装置、情報処理装置の制御方法、および、情報処理プログラム - Google Patents

Abstract

【課題】検知する像に応じて実行する処理を切り替える。
【解決手段】２画面表示装置２００は、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８３０２と、特徴量抽出部８３０２によって抽出された像の特徴量に応じた処理を実行するアプリケーション実行部８１０１と、を備えている。これにより、２画面表示装置２００は、検知する像に応じて実行する処理を切り替えることができる。
【選択図】図１

Description

本発明は、検知する像に応じて実行する処理を切り替えることが可能な情報処理装置、情報処理装置の制御方法、および、情報処理プログラムに関するものである。

近年、ノートブックタイプまたはラップトップタイプの携帯型ＰＣ（Personal Computer）が種々開発されている。この種の携帯型ＰＣにおいては、その操作性の向上を図るための様々な機能が設けられている。その機能の一つに、例えばユーザの操作を取得可能なポインティングデバイスとしてタッチ式ポインティングデバイスが挙げられる。

上記タッチ式ポインティングデバイス（例えばタッチパッド）は、平面状の感知板が、当該感知板に対する指またはペン型指示器（以下、ペンとする）の接触による静電気または圧力を感知することにより、その感知板上の指等の接触位置を検知するものである。さらに、このタッチ式ポインティングデバイスに画像の表示機能を備えたタッチパネル等のサブ表示装置を搭載した携帯型ＰＣも開発されている。このサブ表示装置を搭載した携帯型ＰＣは、例えば特許文献１〜４に開示されている。

特許文献１には、メイン表示装置のコントローラとは異なるサブ表示装置専用のコントローラを備えた情報処理装置が開示されている。

この構成によれば、複雑なメイン表示装置のコントローラを制御することなく、メイン表示装置におけるＯＳ（Operating System）等のメイン表示とは独立した状態で、サブ表示装置に表示を行う機能を実現している。

特許文献２には、サブ表示装置の他機能モードの選択操作（操作画面が切り替わる操作）が行われたときに、設定に応じて、サブ表示装置に表示させる切替メニュー画面をメイン表示装置に表示させたり、サウンド報知を行うことが可能な情報処理装置が開示されている。

この構成によれば、メイン表示装置に対するブラインドタッチ操作を行っているときのサブ表示装置に対する誤操作を未然に防止することができる。また、サブ表示装置に対して誤操作を行った場合でも、メイン表示装置を目視したまま（ブラインドタッチ操作のまま）で操作画面を元の状態に戻すことができる。

特許文献３には、メイン表示装置における画像全体をサブ表示装置に表示させた後の当該サブ表示装置に対する指タッチ操作に応じて、メイン表示装置におけるマウスポインタ（および当該マウスポインタに指示された主操作画面）の表示位置を設定する情報処理装置が開示されている。

この構成によれば、ポインタの位置精度を上げた状態でメイン表示装置の表示部の広い範囲に亘ってポインタを容易かつ迅速に移動（位置合わせ）操作できる機能を実現することができる。

特許文献４には、サブ表示装置に表示させたメニュー画面から機能を選択することによって、その機能に対応する画像を当該表示させる情報処理装置が開示されている。上記機能の選択が行われることにより、サブ表示装置には、例えばテンキー、電卓、時計、カレンダーが表示される。

この構成によれば、サブ表示装置において、機能の選択および選択された機能に対する操作を取得することができる。これにより、この情報処理装置では、装置を大型化することなく、多くの情報を簡単に、かつ、ポインティングデバイスとして入力することができる。

なお、特許文献４には、サブ表示装置のタッチパネルおよび左右ボタンの位置に対応するようにメイン表示装置に孔部が設けて、サブ表示装置が着脱可能とする構成についても開示されている。

しかしながら、特許文献１〜４の技術では、指およびペン以外のユーザ操作を取得することについては開示されていない。すなわち、特許文献１〜４におけるサブ表示装置は、文書等を読み取るスキャナ機能を有するものではない。

ここで、上記サブ表示装置が、指またはペンによるタッチ操作を取得するだけでなく、名刺等に記載された文字（文書）（名前、住所、電話番号、携帯電話番号、ＦＡＸ番号、ＰＣアドレス等）等を読み取るスキャナ機能を備えたものもある。また、このようなサブ表示装置が１画面表示装置として機能する場合もある。ここで、サブ表示装置（または１画面表示装置）が名刺に記載された文字を読み取るときの流れについて、図２２〜図２４に基づいて説明する。なお、以下では、サブ表示装置（または１画面表示装置）が名刺に記載された文字を読み取ることを、「サブ表示装置（または１画面表示装置）が名刺を読み取る」とも記載する。

図２２は、メイン表示装置１２１０とサブ表示装置１２３０とからなる２画面表示装置１２００において、サブ表示装置１２３０で名刺Ｐ１を読み取り、メイン表示装置１２１０がアプリケーションプログラムに従った画像を表示するときの流れを示す図である。なお、図２２において、サブ表示装置１２３０は、名刺Ｐ１を読み取ることが可能な大きさのサブ画面１３０１を備えていればよい。また、サブ表示装置１２３０は、メイン表示装置１２１０と接続されているので、ポインティング機能およびスキャナ機能のみを備えた構成（表示機能を備えない構成）であってもよい。

図２２（ａ）は、名刺Ｐ１を読み取るときの２画面表示装置１２００の様子を示す図である。なお、名刺Ｐ１を読み取る前において、２画面表示装置１２００のメイン表示装置１２１０では、メイン画面１３１１にアプリケーションプログラムに従った画像を表示させている一方で、サブ表示装置１２３０では、サブ画面１３０１がポインティングデバイスの機能が実行されている。

図示のように、ユーザは、２画面表示装置１２００を用いて名刺Ｐ１を読み取ることを所望する場合、名刺を読み取るためのアプリケーションプログラムを起動するための所定の操作（名刺読み取りのために割り当てられた機能ボタンを選択する／押下する等の操作）を、サブ画面１３０１またはキーボード１９２０を介して行う。そして、メイン表示装置１２１０は、例えば「タッチパッドに名刺をのせて、［Enter］キーを押してください。」としたメッセージをメイン画面１３１１に表示させ、ユーザにサブ画面１３０１上に名刺Ｐ１を載せるように促す。

ユーザは、上記メッセージを確認すると、図２２（ｂ）に示すように、２画面表示装置１２００に読み取らせる名刺Ｐ１を、当該名刺Ｐ１の表面（文字が記載されている面）がサブ画面１３０１に対向するように載せ、Enterキー１９３０を押下する。これをトリガとして、２画面表示装置１２００では、サブ表示装置１２３０が名刺Ｐ１の読み取りを開始する。なお、図２２（ｂ）は、名刺Ｐ１を読み取る２画面表示装置１２００の様子を示す図である。

次に、図２２（ｃ）に示すように、２画面表示装置１２００は、サブ表示装置１２３０による名刺Ｐ１の読み取りが完了すると、読み取り結果と共に、登録の可否を尋ねるメッセージをメイン画面１３１１に表示させる。なお、図２２（ｃ）は、名刺Ｐ１の読み取りが完了したときの２画面表示装置１２００の様子を示す図である。

このように、２画面表示装置１２００では、ユーザが名刺を読み取るためのアプリケーションプログラムを起動させ、サブ画面１３０１上に名刺Ｐ１を載せた後にEnterキー１９３０を押下することによって、名刺Ｐ１に記載された文字を読み取ることができる。

次に、図２３および図２４を用いて、１画面表示装置が名刺Ｐ１を読み取る処理を行う場合について説明する。

図２３は、１画面表示装置１２３１で名刺Ｐ１を読み取ると共に、当該１画面表示装置１２３１がアプリケーションプログラムに従った画像を表示するときの流れを示すものである。

また、１画面表示装置１２３１では、図２２に示すサブ画面１３０１と同様、表示画面１３０２の大きさが名刺Ｐ１の大きさとほぼ同じなので、名刺Ｐ１を載せると表示画面１３０２が隠れてしまう。このため、１画面表示装置１２３１は、表示画面１３０２とは異なる位置に、名刺Ｐ１の読み取りを開始するためのStartボタン１９４０と、名刺Ｐ１の読み取り完了を通知するためのReadyランプ１９５０とを設けている。

まず、図２３（ａ）は、名刺Ｐ１を読み取るときの１画面表示装置１２３１の様子を示す図である。なお、名刺Ｐ１を読み取る前においては、図２２（ａ）と同様、１画面表示装置１２３１は、表示画面１３０２にアプリケーションプログラムに従った画像を表示させると共に、ポインティングデバイスとしての機能を実行させている。

図示のように、ユーザは、１画面表示装置１２３１を用いて名刺Ｐ１を読み取ることを所望する場合、名刺を読み取るためのアプリケーションプログラムを起動するための所定の操作を、表示画面１３０２を介して行う。そして、１画面表示装置１２３１は、例えば「名刺読み取り住所録 画面の上に名刺を裏向きに置いて、Startボタンを押してください。Readyランプが点灯するまで名刺を動かさないでください。」としたメッセージを表示画面１３０２に表示させ、ユーザに当該表示画面１３０２上に名刺Ｐ１を載せるように促す。

ユーザは、上記メッセージを確認すると、図２３（ｂ）に示すように、１画面表示装置１２３１に読み取らせる名刺Ｐ１を、当該名刺Ｐ１の表面が表示画面１３０２に対向するように載せる。なお、図２３（ｂ）は、読み取る名刺Ｐ１を表示画面１３０２上に載せたときの１画面表示装置１２３１の様子を示す図である。

次に、図２３（ｃ）に示すように、１画面表示装置１２３１は、ユーザがStartボタン１９４０を押下したことをトリガとして、名刺Ｐ１の読み取りを開始する。なお、図２３（ｃ）は、Startボタン１９４０を押下したときの１画面表示装置１２３１の様子を示す図である。

次に、１画面表示装置１２３１は、図２３（ｄ）に示すように、名刺Ｐ１の読み取りを完了すると、読み取り完了をユーザに通知するために、Readyランプ１９５０を点灯させる。これにより、１画面表示装置１２３１は、名刺Ｐ１の読み取りが完了したことを確認して、当該名刺Ｐ１を表示画面１３０２上から取り除くことができる。なお、図２３（ｄ）は、Readyランプ１９５０によって読み取り完了を通知する１画面表示装置１２３１の様子を示す図である。

そして、図２３（ｅ）に示すように、１画面表示装置１２３１は、図２２（ｃ）と同様、名刺Ｐ１の読み取りが完了すると、読み取り結果と共に、登録の可否を尋ねるメッセージを表示画面１３０２に表示させる。なお、図２３（ｅ）は、名刺Ｐ１の読み取りが完了し、名刺Ｐ１を表示画面１３０２上から取り除いたときの１画面表示装置１２３１の様子を示す図である。

このように、１画面表示装置１２３１においても、２画面表示装置１２００と同様、ユーザは、名刺を読み取るためのアプリケーションプログラムを起動させ、表示画面１３０２上に名刺Ｐ１を載せた後に、当該名刺Ｐ１の読み取りを開始させるために、Startボタン１９４０を押下する。これにより、１画面表示装置１２３１は、名刺Ｐ１に記載された文字を読み取ることができる。

また、１画面表示装置１２３１は、Readyランプ１９５０を点灯させることによって、ユーザに名刺Ｐ１を取り除かせ、表示画面１３０２に表示させた画像をユーザに確認させることができる。

次に、図２４は、１画面表示装置１２３２で名刺Ｐ１を読み取ると共に、当該１画面表示装置１２３２がアプリケーションプログラムに従った画像を表示するときの流れを示すものである。なお、１画面表示装置１２３２は、図２３に示す１画面表示装置１２３１とは異なり、名刺Ｐ１の大きさよりも少し大きい表示画面１３０３を備えている。

このため、１画面表示装置１２３２は、表示画面１３０３において、名刺Ｐ１を載置する領域とは異なる領域（名刺Ｐ１を置いても隠れない領域）に、所定のメッセージおよび機能ボタン（Startボタン／読直しボタン）１９６０を表示させることができる。

まず、図２４（ａ）は、名刺Ｐ１を読み取るときの１画面表示装置１２３２の様子を示す図である。なお、名刺Ｐ１を読み取る前においては、図２３（ａ）と同様、１画面表示装置１２３２は、表示画面１３０３にアプリケーションプログラムに従った画像を表示させると共に、ポインティングデバイスとしての機能を実行させている。

図示のように、ユーザは、１画面表示装置１２３２を用いて名刺Ｐ１を読み取ることを所望する場合、名刺を読み取るためのアプリケーションプログラムを起動するための所定の操作を、表示画面１３０３を介して行う。そして、１画面表示装置１２３２は、機能ボタン（Startボタン）１９６０、例えば「名刺を置いたら右のボタンをクリック」および「名刺をここにおいてください。」としたメッセージ、名刺Ｐ１を載せるための載置領域を含む画像を、表示画面１３０３に表示させる。

ユーザは、上記画像を確認すると、図２４（ｂ）に示すように、１画面表示装置１２３２に読み取らせる名刺Ｐ１を、当該名刺Ｐ１の表面が表示画面１３０３に対向するように載せる。なお、図２４（ｂ）は、読み取る名刺Ｐ１を表示画面１３０３上に載せたときの１画面表示装置１２３２の様子を示す図である。

次に、図２４（ｃ）に示すように、１画面表示装置１２３２は、ユーザが表示画面１３０３に表示された機能ボタン（Startボタン）１９６０を押下したことをトリガとして、名刺Ｐ１の読み取りを開始する。なお、図２４（ｃ）は、表示画面１３０３に表示された機能ボタン（Startボタン）１９６０を押下したときの１画面表示装置１２３２の様子を示す図である。

次に、１画面表示装置１２３２は、図２４（ｄ）に示すように、名刺Ｐ１の読み取りを完了すると、読み取り完了をユーザに通知するために、例えば「早川太郎さんの名刺を読み取りました。」、「名刺を取り除いても結構です。」としたメッセージ、および、機能ボタン１９６０をStartボタンから読直しボタンに切り替えた画像を、表示画面１３０３に表示させる。なお、図２４（ｄ）は、表示画面１３０３に読み取り完了を通知するメッセージを表示させる１画面表示装置１２３２の様子を示す図である。

このように、１画面表示装置１２３２では、表示画面１３０３に、所定のメッセージおよび機能ボタン１９６０を表示させることができる。このため、１画面表示装置１２３２は、図２３に示す１画面表示装置１２３１のようなStartボタン１９４０およびReadyランプ１９５０を、表示画面１３０３と異なる位置に設けなくても、１画面表示装置１２３１と同様の処理を行うことができる。
特開２００４−５１０５号公報（２００４年１月８日公開） 特開２００４−５２１２号公報（２００４年１月８日公開） 特開２００４−２３４５０４号公報（２００４年８月１９日公開） 特開２０００−３３９０９７号公報（２０００年１２月８日公開）

しかしながら、上記２画面表示装置１２００および上記１画面表示装置１２３１、１２３２では、名刺Ｐ１に記載の文字を読み取るために、当該名刺Ｐ１に記載の文字を読み取るためのアプリケーションプログラムをユーザが起動させる必要がある。

また、２画面表示装置１２００および１画面表示装置１２３１、１２３２では、ユーザは、上記アプリケーションプログラムを起動させ、名刺Ｐ１をサブ画面１３０１または表示画面１３０２、１３０３上に載せた後に、当該名刺Ｐ１を読み取るためのイベントを発生させる必要がある。このため、２画面表示装置１２００および１画面表示装置１２３１、１２３２では、このイベントを発生させるための機能ボタンを設ける、または、表示させる必要がある。この機能ボタンとは、２画面表示装置１２００（サブ表示装置１２３０）のEnterキー１９３０、１画面表示装置１２３１のStartボタン１９４０、および、１画面表示装置１２３２の機能ボタン（Startボタン）１９６０である。

すなわち、２画面表示装置１２００および１画面表示装置１２３１、１２３２では、スキャンする像が指もしくはペンであるか、名刺Ｐ１であるかに応じて、次にどのような処理を行うのかを自動的に選択する構成とはなっていないため、その分操作手順（アプリケーションプログラムを起動するための操作、名刺Ｐ１の読み取り開始を指示するための操作等）が多くなるという問題があった。このため、２画面表示装置１２００および１画面表示装置１２３１、１２３２では、名刺Ｐ１等に記載の文書等を読み取る場合には特に、ユーザに対する操作性および利便性が劣るものとなってしまう虞がある。

なお、サブ表示装置１２３０および１画面表示装置１２３２では、サブ画面１３０１および表示画面１３０３が名刺Ｐ１とほぼ同じ大きさなので、名刺Ｐ１を読み取るときに、サブ画面１３０１および表示画面１３０３が名刺Ｐ１によって隠れてしまう。このため、サブ表示装置１２３０および１画面表示装置１２３２では、名刺読み取りを開始（もしくは完了通知）するために、上記サブ画面１３０１および表示画面１３０３とは異なる位置にハードキー（Enterキー１９３０、Startボタン１９４０等）（すなわち、サブ画面１３０１および表示画面１３０３とは別の入出力デバイス）を設ける必要があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検知する像に応じて実行する処理を切り替えることが可能な情報処理装置、情報処理装置の制御方法、および、情報処理プログラムを提供することにある。

本発明に係る情報処理装置は、上記の問題点を解決するために、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段によって抽出された上記像の特徴量に応じた処理を実行する処理実行手段と、を備えたことを特徴としている。

本発明に係る情報処理装置の制御方法は、上記の問題点を解決するために、近傍の対象物の像を検知する面状部材を備えた情報処理装置の制御方法であって、上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップによって抽出された上記像の特徴量に応じた処理を実行する処理実行ステップと、を含むことを特徴としている。

上記構成によれば、処理実行手段（処理実行ステップ）は、面状部材が検知した像の特徴量に応じた処理を実行する。

これにより、情報処理装置（およびその制御方法）では、面状部材が検知した像に応じて、処理実行手段が実行する処理を切り替えることができる。すなわち、情報処理装置は、処理を実行するためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。

このため、情報処理装置は、ユーザの操作性および利便性を向上させることができる。

さらに、本発明に係る情報処理装置は、上記特徴量抽出手段によって抽出された上記像の特徴量に基づいて、上記対象物の種別を判定する判定手段をさらに備え、上記処理実行手段は、上記判定手段が判定した上記対象物の種別に応じた処理を実行してもよい。

上記構成によれば、処理実行手段は、判定手段が判定した対象物の種別に応じた処理を実行する。

これにより、情報処理装置は、面状部材の近傍にある対象物の種別によって処理を切り替えることができる。すなわち、情報処理装置は、対象物の種別に応じた処理を実行させるためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。

例えば、情報処理装置は、ユーザの指またはペンによる入力操作に応じた処理を実行しているときに、当該指またはペン以外の入力操作があった場合には、当該指またはペン以外の入力操作に応じた処理に切り替えることができる。

さらに、本発明に係る情報処理装置は、上記判定手段によって、上記対象物が１または複数の文字を含む対象物であると判定された場合、上記処理実行手段は、上記対象物の像から抽出した文字を、自装置が備える記憶部に登録する登録処理を実行してもよい。

上記構成によれば、処理実行手段は、対象物が１または複数の文字を含む対象物である場合には、当該対象物の像から抽出した文字を記憶部に登録する登録処理を実行する。

これにより、情報処理装置は、予めユーザの入力操作を取得することによって、当該登録処理を実行するためのアプリケーションプログラムを起動させる必要がないので、当該入力操作を省略して登録処理を実行することができる。

さらに、本発明に係る情報処理装置は、上記判定手段によって、上記対象物が１または複数の文字を含む対象物であると判定された場合、上記処理実行手段は、上記対象物の像から抽出した文字が、電話番号、メールアドレスまたはＵＲＬ（Uniform Resource Locator）であると判定した場合、自装置が備える通話機能、メール機能またはブラウザ機能を実行してもよい。

上記構成によれば、処理実行手段は、上記対象物の像から抽出した文字に応じた機能を実行することができる。これにより、情報処理装置は、ユーザに、上記機能を起動させる、上記機能の実行中に上記文字を読み出させる等の入力操作を行わせなくても当該機能を実行することができるので、ユーザの操作性および利便性をさらに向上させることができる。

さらに、本発明に係る情報処理装置は、上記処理実行手段は、上記登録処理を実行するか否かをユーザに選択させてもよい。また、本発明に係る情報処理装置は、上記処理実行手段は、上記通話機能、メール機能またはブラウザ機能を実行するか否かをユーザに選択させてもよい。

上記構成によれば、処理実行手段は、上記処理または機能を実行させるか否かをユーザに選択させる。このため、情報処理装置は、ユーザの所望する処理を適切に実行することができる。

さらに、本発明に係る情報処理装置は、上記判定手段によって、上記対象物がＵＲＬを２次元パターンで表した記号情報を含む対象物であると判定された場合、上記処理実行手段は、上記ＵＲＬに特定されている情報を取得する取得処理を実行してもよい。

上記構成によれば、処理実行手段は、ＵＲＬを２次元パターンで表した記号情報を含む対象物である場合には、当該ＵＲＬに特定されている情報を取得する取得処理を実行する。

これにより、情報処理装置は、予めユーザの入力操作を取得することによって、当該取得処理を実行するためのアプリケーションプログラムを起動させる必要がないので、当該入力操作を省略して取得処理を実行することができる。

さらに、本発明に係る情報処理装置は、上記処理実行手段は、上記登録処理を実行した後に所定の時間が経過すると、当該登録処理を終了させてもよい。また、本発明に係る情報処理装置は、上記取得処理を実行した後に所定の時間が経過すると、当該取得処理を終了させてもよい。

上記構成によれば、情報処理装置は、実行した上記登録処理または上記取得処理を終了させるためのユーザの入力操作を取得しなくても、確実に当該処理を終了させることができる。

なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラムも、本発明の範疇に入る。

以上のように、本発明に係る情報処理装置は、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段によって抽出された上記像の特徴量に応じた処理を実行する処理実行手段と、を備えた構成である。

また、本発明に係る情報処理装置の制御方法は、上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップによって抽出された上記像の特徴量に応じた処理を実行する処理実行ステップと、を含む方法である。

それゆえ、情報処理装置（およびその制御方法）では、面状部材が検知した像に応じて、処理実行手段が実行する処理を切り替えることができる。すなわち、情報処理装置は、処理を実行するためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。

このため、情報処理装置は、ユーザの操作性および利便性を向上させることができる。

本発明の一実施形態について図１から図２１に基づいて説明すると以下の通りである。

本実施形態に係る２画面表示装置（情報処理装置）２００は、近傍の対象物の像を検知するセンサ内蔵液晶パネル（面状部材）３０１と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部（特徴量抽出手段）８３０２と、特徴量抽出部８３０２によって抽出された上記像の特徴量に応じた処理を実行するアプリケーション実行部８１０１と、を備えた構成である。

これにより、２画面表示装置２００では、センサ内蔵液晶パネル３０１が検知した像に応じて、アプリケーション実行部８１０１が実行する処理を切り替えることができる。すなわち、２画面表示装置２００は、処理を実行するためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。このため、２画面表示装置２００は、ユーザの操作性および利便性を向上させることができる。

まず、以下で、本発明の一実施形態に係る２画面表示装置２００の概要、すなわち、当該２画面表示装置２００が備えるメイン表示装置２１０およびセンサ付きサブ表示装置２３０の概要について説明する。

（２画面表示装置の概要）
２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０とを有する装置である。

メイン表示装置２１０とセンサ付きサブ表示装置２３０とは、着脱可能な構成となっている。そして、メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。

なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。そのため、メイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態では、それぞれ単体で動作可能である。

図２を参照しながら、２画面表示装置２００の具体例について説明する。図２（ａ）は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を内部に備える、ノートＰＣ（Personal Computer）を想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。なお、図２（ａ）に示した状態は、メイン表示装置２１０の内部にセンサ付きサブ表示装置２３０が装着されている状態である。メイン表示装置２１０のタッチパッドに相当する部分は透明であり、ユーザは、内部に装着されたセンサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を操作できるようになっている。

図２（ｂ）は、図２（ａ）に示したノートＰＣにおいて、センサ付きサブ表示装置２３０をメイン表示装置２１０の内部から取り出してメイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態を示す模式図である。上述したように、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ単体でも動作可能であるので、この状態では、メイン表示装置２１０は、タッチパッド機能が無いノートＰＣとして動作することが可能である。また、センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるリモコンやＰＤＡ（Personal Digital Assistant）などとして動作することができる。

（センサ内蔵液晶パネルの概要）
上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。

図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（メイン表示装置およびセンサ付きサブ表示装置の要部構成）
次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。

（センサ付きサブ表示装置の要部構成）
まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部９３３、有線通信部９３４、近距離無線通信部９３５、電界強度検出部９３６、バッテリー９３７、および電源切替部９３８を備えている。

表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。

次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。

次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。

次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。

サブ側主制御部８３０は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。

また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。

まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行なわせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換は、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行なわれる。

なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。

次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行なわせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。

次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。

サブ側主制御部８３０が実行する上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理など、センサ付きサブ表示装置２３０が有する各種アプリケーションやミドルウェア等の実行処理である。

さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。メイン側主制御部８１０が実行する上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーションやミドルウェア等の実行処理である。

なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９３１は、サブ側主制御部８３０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９３１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行なうための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行なうための近距離無線通信部９３５を制御するものである。

すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。

有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。

そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。

近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行なえるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。

次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。

次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備える各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。

（メイン表示装置の要部構成）
次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。

表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。

次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。

また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。

また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ＯＳの起動処理、各種アプリケーションやミドルウェア等の実行処理）を行なう。

なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。

次に、記憶部９１１は、メイン側主制御部８１０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９１１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

一次記憶部９１２は、ＲＡＭなどの揮発性の記憶装置によって構成されるものであり、メイン側主制御部８１０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行なうための有線通信部９１４、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行なうための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行なうための有線／無線ネットワーク通信部９１６を制御するものである。

すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。

また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。

有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっており、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。

近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっており、上記無線通信経路には、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。

有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行なうものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

電源９１７は、メイン表示装置２１０が備える各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。

次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。

なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。

その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。

（センサ付きサブ表示装置の詳細な構成）
次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。

まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。

表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

（メイン表示装置の詳細な構成）
上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。

表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。

周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。

次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。

液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。

バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。

（サブ表示装置内コマンド）
次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。

「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。

また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。

また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。

すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（装置間コマンド）
次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。

「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。

次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。

コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。

また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。

また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。

次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。

次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。

図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。

なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。

また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。

また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。

次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。

図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。

次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。

表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。

表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。

次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。

処理コマンドの第１フィールド（実行処理種別）は、処理コマンドの送信先の主制御部に実行させる処理（各種アプリケーション、ミドルウェア、ＯＳ等）の識別情報を指定するフィールドである。当該識別情報は、処理が識別可能なものであれば、どのような値であってもよい。

処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。

処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。

起動時に用いる情報とは、例えば、第１フィールドにて指定された所定処理の動作モードや、表示領域などを指定するパラメータなどが挙げられる。

また、起動後に用いる情報とは、例えば、第１フィールドに文字認識アプリケーションが指定されている場合、当該文字認識アプリケーションが文字認識する対象の画像データなどが挙げられる。また、第１フィールドにファイル転送アプリケーションが指定されている場合、当該ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。

（全体画像データ／部分画像データ／座標データ）
次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図１５（ｂ）に示す画像データでは、図１５（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（２画面表示装置を用いて名刺の読み取りを行う様子）
次に、図１７を参照しながら、２画面表示装置２００におけるポインティング処理から名刺読み取り処理への遷移の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。図１７は、２画面表示装置２００におけるポインティング処理から名刺読み取り処理への遷移の様子を示す図である。

なお、ポインティング処理とは、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１上（センサ内蔵液晶パネル３０１表面）をユーザの指（またはユーザが持つペン）で操作することによる、２画面表示装置２００で実行されるカーソル制御の処理を指す。すなわち、ポインティング処理とは、図１７に示すように、ユーザの指の動作に応じて、例えば液晶パネル３１１に表示されたカーソルＣＳの移動、カーソルＣＳと重畳したアイコン、ブラウザ等（ともに図示せず）の移動（ドラッグ）、アイコンの選択を行うためのメイン表示装置２１０で実行される処理を指す。

また、名刺読み取り処理とは、センサ内蔵液晶パネル３０１上に載置される名刺等に記載された１または複数の文字（文書）を認識する文字認識処理と、当該文字認識処理において認識した文字を記憶部９１１に格納された住所録に登録する登録処理を指す。

具体的には、文字認識処理は、名刺に記載された１または複数の文字を読み取る際に、当該文字（近接にある一群の文字である文字群）を含む領域を特定し、当該特定した領域（もしくは領域毎）における文字（文字群）を抽出する処理を指す。一方、登録処理は、文字認識手段によって抽出された文字を、当該文字または上記領域の位置に基づいて「氏名」、「住所」、「電話番号（携帯電話番号）」、「メールアドレス」等の項目に分類し、分類した文字どうしを対応付けて、名刺毎に住所録に登録する処理を指す。つまり、上記住所録とは、名刺毎に各カテゴリーを対応付けて記憶することにより、名刺に記載の個人情報を管理するテーブル等を指す。

なお、ここでは、名刺読み取り処理が文字認識処理と登録処理とを含むものであるとして説明しているが、これに限らず、登録処理が文字認識処理を含むものであってもよい。この場合には、登録処理が名刺読み取り処理であるといえる。

まず、図１７（ａ）は、２画面表示装置２００においてポインティング処理が行われている様子を示す図である。図示のとおり、液晶パネル３１１にはカーソルＣＳが表示されており、ユーザは、この液晶パネル３１１を見ながら、指またはペンでセンサ内蔵液晶パネル３０１上を操作することにより、当該カーソルＣＳの移動等の制御を行うことができる。

次に、図１７（ｂ）は、センサ内蔵液晶パネル３０１上に名刺Ｐ１が載置された様子を示す図である。２画面表示装置２００は、名刺Ｐ１の表側（すなわち、氏名、住所等が記載されている側）がセンサ内蔵液晶パネル３０１に対向するように載置されると、名刺読み取り処理を行う。すなわち、２画面表示装置２００は、名刺Ｐ１がセンサ内蔵液晶パネル３０１上に載置されたことを認識すると、名刺読み取り処理における文字認識処理を自動的に実行する。なお、図１７（ｂ）では、名刺Ｐ１の裏側（センサ内蔵液晶パネル３０１と対向していない側）を便宜上「名刺の裏」と称するものとする。

次に、２画面表示装置２００は、上記の文字認識処理が完了すると、液晶パネル３１１に図１７（ｃ）または図１７（ｄ）に示すような画像を表示させる。図１７（ｃ）は、住所録への登録処理を行うか否かをユーザに通知した場合の２画面表示装置２００の様子を示す図である。また、図１７（ｄ）は、住所録への登録処理を行い、当該登録処理が完了したことを通知した場合の２画面表示装置２００の様子を示す図である。

図１７（ｃ）の場合、２画面表示装置２００は、文字認識処理が完了すると、液晶パネル３１１に住所録への登録処理を行うか否かをユーザに問い合わせるための問合せ画像を表示する。ここでは、２画面表示装置２００は、上記画像として、「名前：早川太郎 住所：奈良県 上記のデータを住所録に登録しますか？」としたメッセージと、ユーザに選択を促すための「はい」、「いいえ」としたメッセージを表示する。上記メッセージ中の名前および住所は、文字認識処理で読み取った「氏名」および「住所」である。

一方、図１７（ｄ）の場合、２画面表示装置２００は、文字認識処理が完了すると、住所録への登録処理を行う。すなわち、図１７（ｃ）のように、２画面表示装置２００は、ユーザへの問合せを行わずに、文字認識処理後、自動的に住所録への登録処理を実行する。そして、図示のとおり、２画面表示装置２００は、住所録への登録処理が完了すると、完了したことをユーザに通知する画像を液晶パネル３１１に表示する。ここでは、２画面表示装置２００は、上記画像として、「早川太郎さんを住所録に登録しました。」としたメッセージをポップアップ表示する。なお、このメッセージ中の「早川太郎」は、文字認識処理で読み取った「氏名」である。

なお、図１７では、センサ内蔵液晶パネル３０１の大きさ（面積）は、通常の名刺Ｐ１（約３インチ）が載置可能な程度の大きさであればよい。また、センサ内蔵液晶パネル３０１の大きさが名刺Ｐ１よりも一回り大きい場合（例えば４インチ）には、２画面表示装置２００は、名刺Ｐ１を載置する載置領域、および、当該載置領域外にメッセージ、アイコン等を配置した画像をセンサ内蔵液晶パネル３０１に表示してもよい。

（２画面表示装置のより詳細な構成）
次に、図１を参照しながら、２画面表示装置２００のより詳細な構成について説明する。図１は、２画面表示装置２００のより詳細な構成を示すブロック図である。図示のように、サブ側主制御部８３０は、像取得部８３０１、特徴量抽出部８３０２、一致度判定部（判定手段）８３０３、座標取得部８３０４および表示データ制御部８３０５を備えている。また、メイン側主制御部８１０は、アプリケーション実行部８１０１および表示データ制御部８１０２を備えている。

まず、サブ側主制御部８３０の構成について説明する。

像取得部８３０１は、センサ内蔵液晶パネル３０１において検知された像を含む画像を、データ処理部７３０から全体画像データとして取得するものである。像取得部８３０１は、取得した全体画像データを特徴量抽出部８３０２に送信する。

また、像取得部８３０１は、後述の一致度判定部８３０３から「指」であることを示すカテゴリー通知を受信した場合であって、後述の座標取得部８３０４が座標データをデータ処理部７３０から取得しない場合には、取得した全体画像データを送信する。

特徴量抽出部８３０２は、一般的な手法を用いて、上記全体画像データに対する画像補正を行った後、当該全体画像データに含まれる像の特徴量を抽出するものである。特徴量抽出部８３０２は、抽出した像の特徴量を、一致度判定部８３０３に送信する。

すなわち、特徴量抽出部８３０２は、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出するものといえる。

一致度判定部８３０３は、上記像の特徴量と、記憶部９３１に格納されている複数の標準パターンとを比較することにより、当該像の特徴量が、いずれの標準パターンと最もよく類似しているのかを判定するものである。そして、一致度判定部８３０３は、上記像の特徴量と最もよく類似した標準パターンを決定し、この決定した標準パターンが分類されたカテゴリーをカテゴリー通知として、メイン側主制御部８１０のアプリケーション実行部８１０１（後述）に送信する。

すなわち、一致度判定部８３０３は、特徴量抽出部８３０２によって抽出された像の特徴量に基づいて、センサ内蔵液晶パネル３０１の近傍における対象物の種別を判定するものといえる。

座標取得部８３０４は、一致度判定部８３０３から「指」であることを示すカテゴリー通知を受信した場合には、像取得部８３０１から全体画像データを取得し、当該全体画像データに含まれる像の中心座標または重心座標を算出するか、データ処理部７３０から代表座標（全体画像における座標）を座標データとして取得するものである。そして、座標取得部８３０４は、算出した中心座標（もしくは位置座標）または座標データを、位置座標データとしてアプリケーション実行部８１０１に送信する。

一致度判定部８３０３および座標取得部８３０４は、カテゴリー通知および位置座標データを、通信制御部９３３、有線通信部９３４もしくは近距離無線通信部９３５、メイン表示装置２１０の有線通信部９１４もしくは近距離無線通信部９１５、および、通信制御部９１３を介して、アプリケーション実行部８１０１に送信する。なお、アプリケーション実行部８１０１が表示データ制御部８３０５に画像生成の指示を行う場合（後述）には、上記とは逆の流れとなる。

なお、記憶部９３１には、一致度判定部８３０３が上記像の特徴量のカテゴリーを決定するための複数の標準パターンが格納されている。これらの標準パターンは、「指」、「名刺」および「記号情報（記号情報を含む対象物）」の何れかのカテゴリーに対応付けられている。なお、カテゴリーとは、センサ内蔵液晶パネル３０１上の近傍にある対象物の種別を指す。また、「記号情報」とは、ＵＲＬ（Uniform Resource Locator）を２次元パターンで表したものであり、例えば白および黒の格子状のパターンで情報を表すマトリクス型２次元コードであるＱＲコード（登録商標）を指す。なお、カテゴリーは、上記３つに限られず、センサ付きサブ表示装置２３０で識別可能であれば、例えば「地図（地図を含む対象物）」等のカテゴリーがあってもよい。

次に、メイン側主制御部８１０の構成について説明する。

アプリケーション実行部８１０１は、サブ側主制御部８３０の一致度判定部８３０３からカテゴリー通知を受信すると、記憶部９１１に格納されている、当該カテゴリー通知に示されたカテゴリーに対応するアプリケーションプログラムを実行するものである。

すなわち、アプリケーション実行部８１０１は、一致度判定部８３０３が判定した対象物の種別に応じた処理を実行するものであるといえる。また、アプリケーション実行部８１０１は、特徴量抽出部８３０２によって抽出された像の特徴量に応じた処理を実行するものであるともいえる。

また、アプリケーション実行部８１０１は、サブ側主制御部８３０の座標取得部８３０４から位置座標データを受信した場合にも、当該位置座標データを用いて、ポインティング処理を実行するものである。

表示データ制御部８１０２は、アプリケーション実行部８１０１から送信される画像生成の指示を受けると、この指示に従って画像を生成し、当該画像をデータ処理部７３０に送信することによって、液晶パネル３１１に当該画像を表示させるものである。

なお、記憶部９１１には、上記カテゴリー通知に示されたカテゴリーに対応付けられたアプリケーションプログラムが記憶されている。すなわち、記憶部９１１には、「指」、「名刺」および「記号情報」それぞれに対応付けられたポインティング処理、名刺読み取り処理および記号情報処理を行うためのアプリケーションプログラムが格納されている。

また、記憶部９１１には、名刺Ｐ１から読み取った個人情報が住所録として格納されている。この住所録は、例えばユーザ指定のファイル毎に格納されていてもよい。

さらに、記憶部９１１には、ユーザに提示する所定のメッセージ、および、センサ内蔵液晶パネル３０１上において上記メッセージを表示する領域を示す情報（座標データなど）（以下、メッセージ表示領域情報）の組を、メッセージ情報として、読み出し可能な状態で記憶するものである。なお、上記メッセージは、文字データに限らず、画像データ等であってもよい。

（２画面表示装置における処理の流れ）
次に、図１８を参照しながら、２画面表示装置２００において、検知した像に応じて実行する処理の切り替えを行う際の処理の流れについて説明する。図１８は、２画面表示装置２００において、検知した像に応じて実行する処理の切り替えを行う際の処理の流れを示すフローチャートである。なお、以下に示すコマンドの使用例は、あくまで一例であり、適宜フィールドの値を変更することが可能である。

なお、ここでは、２画面表示装置２００では、ユーザが指またはペン以外の対象物（名刺Ｐ１等）をセンサ内蔵液晶パネル３０１上に載置しない限り、ポインティング処理が実行されるように構成されているものとして説明する。しかしながら、２画面表示装置２００、予め実行されている処理がポインティング処理でなく、名刺読み取り処理等であってもよい。

このとき、メイン表示装置２１０では、メイン側主制御部８１０の表示データ制御部８１０２が、ポインティング処理に応じた画像（カーソル、アイコン等を含む画像）を生成し、表示データとして表示データ処理部７１０に送信することにより、当該画像を液晶パネル３１１に表示させることができる。このため、ユーザは、当該画像を見ながら、センサ内蔵液晶パネル３０１を用いた操作を行うことができる。

まず、指、ペン、名刺Ｐ１または記号情報（ここでは、ＱＲコード（登録商標））が記載された対象物のうちの何れかがセンサ内蔵液晶パネル３０１上に載置されると、当該センサ内蔵液晶パネル３０１は載置された対象物の像を検知する。センサ内蔵液晶パネル３０１が検知した像は、表示／光センサ回路制御部６３０を介してデータ処理部７３０を送信される。そして、サブ側主制御部８３０の像取得部８３０１は、データ処理部７３０に送信されてきた像を全体画像データとして取得する（Ｓ１）。

このとき、像取得部８３０１は、センサ内蔵液晶パネル３０１が対象物の像を検知することができるように、「スキャン方式」フィールドの値として“反射”（“00”）、“透過”（“01”）、“反射／透過”（“10”）のいずれか、「スキャン画像階調」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャン解像度」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれかを指定したサブ表示装置内コマンドを、データ処理部７３０に送信する。

また、像取得部８３０１は、センサ内蔵液晶パネル３０１上で変化があったときの全体画像データをデータ処理部７００から取得するために、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“全体画像”（“100”）を指定したサブ表示装置内コマンドを、データ処理部７３０に送信する。

なお、像取得部８３０１が全体画像データの代わりに部分画像データを取得する場合には、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“部分画像”（“010”）を指定したサブ表示装置内コマンドを、データ処理部７３０に送信する。

像取得部８３０１は、取得した全体画像データを特徴量抽出部８３０２に送信する。特徴量抽出部８３０２は、この全体画像データに含まれる像の特徴量を抽出する（Ｓ２）。ここで、特徴量抽出部８３０２における特徴抽出は、一般的な画像認識技術により行われるものである。

すなわち、特徴量抽出部８３０２は、ノイズ除去、平滑化、鮮鋭化、フィルタリング処理、画像の２値化、像の骨格線を抽出する細線化操作、正規化操作等と呼ばれる、全体画像データに対する画像補正を行う。そして、特徴量抽出部８３０２は、画像補正を行った全体画像データから、像の特徴量を抽出する。像の特徴量を抽出する手法として、エッジ、輪郭および線成分を抽出する方法（２次微分処理、ハフ変換処理等）、領域分割による方法、テクスチャを抽出する方法などが挙げられる。

特徴量抽出部８３０２は、上記処理を行うことによって像の特徴量を抽出すると、当該特徴量を一致度判定部８３０３に送信する。一致度判定部８３０３は、上記像の特徴量を受信すると、記憶部９３１に格納された複数の標準パターンを読み出す。そして、一致度判定部８３０３は、上記像の特徴量と複数の標準パターンとを比較することにより、当該像の特徴量が、何れの標準パターンと最もよく類似しているのかを判定する。すなわち、一致度判定部８３０３は、上記像の特徴量が、何れのカテゴリーに分類された標準パターンと類似するか否かを判定することにより、センサ内蔵液晶パネル３０１上の対象物の種別を判定する。なお、一致度判定部８３０３は、上記判定を行うために、一般的な画像認識技術に用いられる手法であるパターンマッチング手法、統計的識別手法等を用いた処理を行うものとする。

一致度判定部８３０３は、まず、上記像の特徴量が「指」（ペンを含む）のカテゴリーに分類された標準パターンと類似するか（すなわち、対象物が指であるか）否かを判定する（Ｓ３）。そして、一致度判定部８３０３によって、上記像の特徴量が「指」のカテゴリーに分類された標準パターンと類似すると判定された場合（Ｓ３でＹＥＳ）、カテゴリーが「指」であることを示すカテゴリー通知を座標取得部８３０４およびメイン表示装置２１０に行う。

座標取得部８３０４は、上記カテゴリー通知を受信すると、像取得部８３０１が取得した全体画像データに含まれる像における中心座標（もしくは重心座標）を算出する。なお、座標取得部８３０４は、像取得部８３０１が全体画像データを取得するときに、データ処理部７３０から座標データ（部分画像の代表座標（全体画像における座標））を取得するものであってもよい。

なお、座標取得部８３０４は、データ処理部７３０から座標データを取得する場合には、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“座標”（“001”）を指定したサブ表示装置内コマンドを、データ処理部７３０に送信する。

座標取得部８３０４は、カテゴリーが「指」であることを示すカテゴリー通知をメイン表示装置２１０に送信するときに、センサ内蔵液晶パネル３０１上における指の位置を示す位置座標データとして、上記中心座標（もしくは重心座標）または代表座標を送信する。

なお、一致度判定部８３０３および座標取得部８３０４は、メイン表示装置２１０に対して、カテゴリー通知または位置座標データを送信するために、「第０フィールド」フィールドの値として“処理コマンド”（“010”）を指定した装置間コマンドを送信する。

メイン表示装置２１０では、メイン側主制御部８１０のアプリケーション実行部８１０１は、上記カテゴリー通知を受信すると、「指」を示すカテゴリーと対応付けて記憶部９１１に格納されているポインティング処理を行うためのアプリケーションプログラムを実行する（Ｓ４）。そして、アプリケーション実行部８１０１は、このアプリケーションプログラムを従った画像を表示データ制御部８１０２に随時生成させるために、当該画像生成の指示を当該表示データ制御部８１０２に行う。

表示データ制御部８１０２は、上記指示を受けると、上記アプリケーションプログラムに従った画像を順次生成し、当該画像を表示データとして表示データ処理部７１０に送信することにより、液晶パネル３１１に当該画像を表示させる。

具体的には、アプリケーション実行部８１０１は、上記カテゴリー通知と共に、位置座標データを受信すると、位置座標データから液晶パネル３１１に表示させるカーソルＣＳの位置（液晶パネル３１１表面における位置）を算出し、算出結果を表示データ制御部８１０２に送信する。そして、表示データ制御部８１０２は、上記算出結果の示す位置にカーソルＣＳを配置した画像を生成する。このようにして、２画面表示装置２００は、センサ内蔵液晶パネル３０１上の指の動作にあわせて、カーソルＣＳを移動させることができる。

また、アプリケーション実行部８１０１は、上記のようなカーソルＣＳの移動処理に限らず、位置座標データを随時取得することにより、表示データ制御部８１０２にクリック操作、ドラッグ操作に対応した画像を生成させる。これにより、メイン表示装置２１０は、カーソルＣＳの移動処理以外のポインティング処理を実現することができる。

なお、上述のように、２画面表示装置２００では、電源が入ると、ポインティング処理を行うためのアプリケーションプログラムが実行されるように設定されている。このため、Ｓ３でＹＥＳの場合には、アプリケーション実行部８１０１は、継続して上記アプリケーションプログラム（ポインティング処理）を実行することとなる。

次に、一致度判定部８３０３は、上記像の特徴量が「指」のカテゴリーに分類された標準パターンと類似しないと判定した場合（Ｓ３でＮＯ）、当該像の特徴量が「文字」のカテゴリーに分類された標準パターンと類似するか（すなわち、対象物が名刺Ｐ１であるか）否かを判定する（Ｓ５）。

一致度判定部８３０３は、当該像の特徴量が「文字」のカテゴリーに分類された標準パターンと類似すると判定した場合（Ｓ５でＹＥＳ）、カテゴリーが「文字」であることを示すカテゴリー通知をメイン表示装置２１０に行う。

メイン表示装置２１０では、メイン側主制御部８１０のアプリケーション実行部８１０１は、上記カテゴリー通知を受信すると、「文字」を示すカテゴリーと対応付けて記憶部９１１に格納されている名刺読み取り処理を行うためのアプリケーションプログラムを実行する。これにより、アプリケーション実行部８１０１は、この名刺読み取り処理を含む名刺読み取り関連処理を実行することとなる。

ここで、名刺読み取り関連処理とは、名刺読み取り処理と、当該名刺読み取り処理後に行われる処理（通話機能、メール機能、ブラウザ機能等の起動および実行処理）を含む処理の総称である。なお、名刺読み取り関連処理については、図１９を用いて後述する。

次に、一致度判定部８３０３によって、上記像の特徴量が「文字」のカテゴリーに分類された標準パターンと類似しないと判定された場合（Ｓ５でＮＯ）、当該像の特徴量が「記号情報」のカテゴリーに分類された標準パターンと類似するか（すなわち、対象物が記号情報を含む対象物であるか）否かを判定する（Ｓ７）。

一致度判定部８３０３は、当該像の特徴量が「記号情報」のカテゴリーに分類された標準パターンと類似すると判定した場合（Ｓ７でＹＥＳ）、カテゴリーが「記号情報」であることを示すカテゴリー通知をメイン表示装置２１０に行う。

メイン表示装置２１０では、メイン側主制御部８１０のアプリケーション実行部８１０１は、上記カテゴリー通知を受信すると、「記号情報」を示すカテゴリーと対応付けて記憶部９１１に格納されている記号情報処理を行うためのアプリケーションプログラムを実行する（Ｓ８）。

アプリケーション実行部８１０１は、このアプリケーションプログラムを実行すると、センサ内蔵液晶パネル３０１上に載置された対象物に掲載された記号情報からＵＲＬを取得する。

そして、アプリケーション実行部８１０１は、このＵＲＬに特定されている情報を取得するか否か（ブラウザ機能を実行するか否か）をユーザに問い合わせるための問合せ画像を表示データ制御部８１０２に生成させる。このため、アプリケーション実行部８１０１は、上記画像を生成させるために、当該画像生成の指示を表示データ制御部８１０２に行うことによって、ユーザにブラウザ機能を実行するか否かをユーザに選択させる。

これにより、２画面表示装置２００は、ユーザの所望する処理を適切に実行させることができる。なお、アプリケーション実行部８１０１が後述の各種問合せ画像を表示データ制御部８１０２に生成させて、ユーザに各種処理を実行させるか否かを選択させる場合も同様の効果を奏する。

表示データ制御部８１０２は、上記指示を受けると、上記問合せ画像を生成し、表示データとして表示データ処理部７１０に送信することにより、液晶パネル３１１に当該問合せ画像を表示させる。表示データ制御部８１０２は、例えば「ＵＲＬに接続しますか？」としたメッセージ、および、ユーザに選択を促すための「はい」、「いいえ」としたメッセージを含む問合せ画像を生成する。

そして、ユーザが「はい」または「いいえ」にカーソルをあわせ、クリック操作を行うと、アプリケーション実行部８１０１は、ポインティング処理を行うためのアプリケーションプログラムを実行して、「はい」または「いいえ」に対応した処理を実行する。

ユーザが「はい」を選択した場合には、アプリケーション実行部８１０１は、ＵＲＬに特定されている情報の取得を示す入力操作があったと判定し、通信制御部９１３および有線／無線ネットワーク通信部９１６を介して、当該ＵＲＬに特定されている情報を取得する取得処理を実行する。そして、アプリケーション実行部８１０１は、ブラウザ機能を起動させて、当該取得した情報を液晶パネル３１１に表示させるように表示データ制御部８１０２に指示する。

表示データ制御部８１０２は、上記指示を受けると、ブラウザ機能に従った、ＵＲＬに特定されている情報を示す画像を、表示データとして表示データ処理部７１０に送信することにより、液晶パネル３１１に当該画像を表示させる。

これにより、２画面表示装置２００は、予めユーザの入力操作を取得することによって、当該取得処理を実行するためのアプリケーションプログラムを起動させる必要がないので、当該入力操作を省略して取得処理を実行することができる。

一方、ユーザが「いいえ」を選択した場合、アプリケーション実行部８１０１は、ＵＲＬに特定されている情報を取得することを示す入力操作がなかったと判定し、記号情報処理を終了する。

なお、Ｓ４、Ｓ６およびＳ８の各処理が完了すると、２画面表示装置２００における図１８に示す処理が完了となる。２画面表示装置２００は、上述のように、ユーザが指またはペン以外の対象物をセンサ内蔵液晶パネル３０１上に載置しない限り、ポインティング処理が実行されるように設定されている。このため、アプリケーション実行部８１０１は、Ｓ４、Ｓ６およびＳ８の各処理が完了すると、再びポインティング処理を実行することとなる。

また、Ｓ６およびＳ８の処理において、表示データ制御部８１０２がユーザに通知または問合せを行うための問合せ画像を液晶パネル３１１に表示させる場合（Ｓ６の処理の場合については後述）には、アプリケーション実行部８１０１は、その都度、Ｓ４に示すポインティング処理を割り込み処理させることとなる。

さらに、アプリケーション実行部８１０１は、Ｓ７の処理後にＳ５の処理を行ってもよい。

このように、２画面表示装置２００では、アプリケーション実行部８１０１は、一致度判定部８３０３が判定した対象物の種別に応じた処理を実行する。

これにより、２画面表示装置２００は、センサ内蔵液晶パネル３０１の近傍にある対象物の種別によって処理を切り替えることができる。すなわち、２画面表示装置２００は、対象物の種別に応じた処理を実行させるためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。

つまり、２画面表示装置２００は、ユーザの指またはペンによる入力操作に応じた処理を実行しているときに、当該指またはペン以外の入力操作があった場合には、当該指またはペン以外の入力操作に応じた処理に切り替えることができる。

すなわち、２画面表示装置２００は、指またはペン以外の入力操作に応じた処理を実行させるためのアプリケーションプログラムを起動させるために、予めユーザの入力操作を取得する必要がないので、その入力操作を取得する処理を省略することができる。

（名刺読み取り関連処理）
次に、図１９を参照しながら、２画面表示装置２００において、図１８のＳ６に示す名刺読み取り関連処理の詳細について説明する。図１９は、２画面表示装置２００において、名刺読み取り関連処理を行う際の処理の流れを示すフローチャートである。なお、図１８において、Ｓ６の処理に入ると、アプリケーション実行部８１０１は、名刺読み取り関連処理を行うために、名刺読み取り処理を行うためのアプリケーションプログラムを実行する。

まず、アプリケーション実行部８１０１は、文字認識処理を行い、名刺Ｐ１に記載された文字を抽出する（Ｓ１１）。そして、アプリケーション実行部８１０１は、抽出した文字を「氏名」等に分類し、分類した文字どうしを対応付けて、記憶部９１１に格納された住所録（テーブル）に登録する登録処理を行う（Ｓ１２）。

すなわち、アプリケーション実行部８１０１は、一致度判定部８３０３によって対象物が１または複数の文字を含む対象物であると判定された場合、当該対象物の像から抽出した文字を、記憶部９１１に登録する登録処理を実行するものである。

これにより、２画面表示装置２００は、予めユーザの入力操作を取得することによって、当該登録処理（名刺読み取り処理）を実行するためのアプリケーションプログラムを起動させる必要がないので、当該入力操作を省略して登録処理を実行することができる。

次に、アプリケーション実行部８１０１は、登録処理が完了すると、完了したことをユーザに通知する画像を液晶パネル３１１に表示させるために、当該画像生成の指示を表示データ制御部８１０２に行う。すなわち、表示データ制御部８１０２は、この画像を液晶パネル３１１に表示させることによって、登録が完了した旨をユーザに通知する（Ｓ１３）。

なお、Ｓ１１〜Ｓ１３の処理については、上記の図１７（ａ）、図１７（ａ）および図１７（ｄ）で説明したので、ここではその説明を省略する。

また、アプリケーション実行部８１０１は、登録処理を完了する前に、「氏名」等の項目に分類した文字を一次記憶部９１２に一時的に保存して、記憶部９１１に格納された住所録に格納するか否かをユーザに選択させるようにしてもよい。すなわち、アプリケーション実行部８１０１は、登録処理（住所録への登録処理）を実行するか否かをユーザに選択させるようにしてもよい。

この場合、アプリケーション実行部８１０１は、上記分類した文字を住所録への登録を行うか否かをユーザに問い合わせるための問合せ画像を表示させるために、当該画像（図１７（ｃ）に示す画像）生成の指示を表示データ制御部８１０２に行う。

そして、アプリケーション実行部８１０１は、上記指示を行うと、ポインティング処理を行うためのアプリケーションプログラムを実行する。

ユーザは、住所録への登録処理を所望する場合、図１７（ｃ）に示す画像に示された「はい」にカーソルをあわせ、クリック操作を行う。このとき、アプリケーション実行部８１０１は、このカーソル移動およびクリック操作を、センサ付きサブ表示装置２３０から随時送信される位置座標データを用いることによって、当該カーソル移動およびクリック操作に対応した処理を行う。

すなわち、アプリケーション実行部８１０１は、上記画像に示された「はい」がクリックされたことを認識すると、再び名刺読み取り処理を行うためのアプリケーションプログラムを記憶部９１１から読み出し、住所録への登録処理を実行する。

なお、アプリケーション実行部８１０１は、上記画像に示された「いいえ」がクリックされたことを認識すると、そのままポインティング処理を維持する。すなわち、アプリケーション実行部８１０１は、再び名刺読み取り処理を行うためのアプリケーションプログラムを記憶部９１１から読み出すことなく終了させる。

次に、アプリケーション実行部８１０１は、Ｓ１２の登録処理を完了すると、住所録の「電話番号」の項目に、電話番号を示す数値データが記憶されているか否かを判定する（Ｓ１４）。アプリケーション実行部８１０１は、住所録に電話番号が記憶されていると判定した場合（Ｓ１４でＹＥＳ）、通話機能を起動させるか否かをユーザに問い合わせる（Ｓ１５）。

この場合、アプリケーション実行部８１０１は、上記問合せを行うための問合せ画像を液晶パネル３１１に表示させるために、当該画像生成の指示を表示データ制御部８１０２に行う。表示データ制御部８１０２は、例えば「０６＊＊＊＊＊＊＊＊に発信しますか？」としたメッセージ、および、ユーザに選択を促すための「はい」、「いいえ」としたメッセージを含む問合せ画像を生成する。なお、「０６＊＊＊＊＊＊＊＊」は、Ｓ２にて住所録に登録された電話番号である。

そして、ユーザが「はい」または「いいえ」にカーソルをあわせ、クリック操作を行うと、アプリケーション実行部８１０１は、ポインティング処理を行うためのアプリケーションプログラムを実行して、上記と同様、「はい」または「いいえ」に対応した処理を実行する。

ユーザが「はい」を選択した場合（ユーザが通話機能を起動させると判断した場合）（Ｓ１５でＹＥＳ）、アプリケーション実行部８１０１は、通話機能を起動させ、上記電話番号への発信を行う（Ｓ１６）。すなわち、アプリケーション実行部８１０１は、Ｓ１６の処理にて通話機能を実行する。一方、ユーザが「いいえ」を選択した場合（ユーザが通話機能を起動させないと判断した場合）（Ｓ１５でＮＯ）、アプリケーション実行部８１０１は、通話機能を起動させることなく、後述のＳ１７の処理に移行する。

次に、アプリケーション実行部８１０１は、住所録に電話番号が記憶されていないと判定した場合（Ｓ１４でＮＯ）、住所録の「メールアドレス」の項目に、メールアドレスを示す文字データが記憶されているか否かを判定する（Ｓ１７）。アプリケーション実行部８１０１は、住所録にメールアドレスが記憶されていると判定した場合（Ｓ１７でＹＥＳ）、メール機能を起動させるか否かをユーザに問い合わせる（Ｓ１８）。

この場合、アプリケーション実行部８１０１は、上記と同様、上記問合せを行うための問合せ画像生成の指示を表示データ制御部８１０２に行う。表示データ制御部８１０２は、例えば「メール機能を実行しますか？」としたメッセージ、および、ユーザに選択を促すための「はい」、「いいえ」としたメッセージを含む問合せ画像を生成する。

その後の処理については、Ｓ１５の処理と同様である。すなわち、アプリケーション実行部８１０１は、ユーザが「はい」を選択したと判断した場合（Ｓ１８でＹＥＳ）には、メール機能を起動させる（Ｓ１９）一方で、ユーザが「いいえ」を選択したと判断した場合（Ｓ１８でＮＯ）には、メール機能を起動させることなく、後述のＳ２０の処理に移行する。すなわち、アプリケーション実行部８１０１は、Ｓ１９の処理にてメール機能を実行する。

次に、アプリケーション実行部８１０１は、住所録にメールアドレスが記憶されていないと判定した場合（Ｓ１７でＮＯ）、住所録の「ＵＲＬ」の項目に、ＵＲＬを示す文字データが記憶されているか否かを判定する（Ｓ２０）。アプリケーション実行部８１０１は、住所録にＵＲＬが記憶されていると判定した場合（Ｓ２０でＹＥＳ）、ブラウザ機能を起動させるか否かをユーザに問い合わせる（Ｓ２１）。

アプリケーション実行部８１０１は、Ｓ１５の処理と同様である。すなわち、アプリケーション実行部８１０１は、ユーザが「はい」を選択したと判断した場合（Ｓ２１でＹＥＳ）には、ブラウザ機能を起動させる（Ｓ２２）一方で、ユーザが「いいえ」を選択したと判断した場合（Ｓ２１でＮＯ）には、メール機能を起動させることなく、名刺読み取り関連処理を終了する。すなわち、アプリケーション実行部８１０１は、Ｓ２２の処理にてブラウザ機能を実行する。なお、Ｓ２０〜Ｓ２２の処理は、図１８におけるＳ８の処理と同様なので、ここではその詳細な説明を省略する。

このように、Ｓ１６、Ｓ１９およびＳ２２の処理では、アプリケーション実行部８１０１は、文字認識処理にて抽出した文字が、電話番号、メールアドレスまたはＵＲＬである場合には、２画面表示装置２００が備える通話機能、メール機能またはブラウザ機能を実行する。このため、２画面表示装置２００は、ユーザに、上記機能を起動させる、上記機能の実行中に上記文字を読み出させる等の入力操作を行わせなくても当該機能を実行することができるので、ユーザの操作性および利便性をさらに向上させることができる。

なお、Ｓ１６、Ｓ１９およびＳ２２の処理が行われ、ユーザが各機能を終了させると、アプリケーション実行部８１０１は、図１８におけるＳ６の名刺読み取り関連処理を終了する。また、アプリケーション実行部８１０１は、所定の時間経過した後に、上記名刺読み取り関連処理を終了させてもよい。この場合、２画面表示装置２００は、実行した登録処理を含む名刺読み取り関連処理を終了させるためのユーザの入力操作を取得しなくても、確実に当該処理を終了させることができる。

また、図１８におけるＳ８の処理についても同様に、アプリケーション実行部８１０１は、所定の時間経過した後に、上記記号情報処理を終了させてもよい。

また、Ｓ１２の処理において、住所録をユーザ毎に作成し、ユーザ指定のファイルに記憶するようにしてもよい。この場合、アプリケーション実行部８１０１は、例えばＳ１２の処理を行うときに、ユーザに対し、新規の住所録を作成するか否かを問い合わせると共に、新規の住所録を作成しない場合には、どのファイル内の住所録への登録処理を行うかを問い合わせてもよい。

さらに、アプリケーション実行部８１０１は、ユーザ指定のファイルを自動的に検索するようにしてもよい。この場合、サブ側主制御部８３０の像取得部８３０１は、全体画像データを取得した際に、当該全体画像データに含まれる像を用いて指紋認証を行うことによって、ユーザを特定するようにしてもよい。また、サブ側主制御部８３０は、センサ内蔵液晶パネル３０１上にサインさせたり、パスワードを入力させたりすることにより、ユーザを特定するようにしてもよい。

また、図１９では、Ｓ１５、Ｓ１８およびＳ２１の処理において、通話機能、メール機能およびブラウザ機能を起動させるか否かをユーザに問い合わせているが、これに限らず、ユーザに問い合わせることなく、各機能を起動させてもよい。

（１画面表示装置を用いて名刺の読み取りを行う様子）
次に、図２０を参照しながら、１画面表示装置としてのセンサ付きサブ表示装置２３０におけるポインティング処理から名刺読み取り処理への遷移の典型例について説明する。図２０は、１画面表示装置としてのセンサ付きサブ表示装置２３０におけるポインティング処理から名刺読み取り処理への遷移の様子を示す図である。

ここでは、センサ付きサブ表示装置２３０がメイン表示装置２１０から取り外されて単独で使用される場合を想定している。すなわち、ユーザが、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１上を指またはペンで操作したり、当該センサ内蔵液晶パネル３０１上に名刺Ｐ１等を載置するだけでなく、当該センサ内蔵液晶パネル３０１にカーソルＣＳ、問合せ画像、ユーザに対する通知を行うための画像等を表示させることを想定している。つまり、ユーザがメイン表示装置２１０の表示部３１０を見ることなく操作を行う、いわゆる１画面表示装置としてのセンサ付きサブ表示装置２３０を想定している。

なお、１画面表示装置としてのセンサ付きサブ表示装置２３０における構成および処理が、上記２画面表示装置２００の構成および処理と同一である場合には、その説明を省略することとする。

まず、図２０（ａ）は、１画面表示装置としてのセンサ付きサブ表示装置２３０においてポインティング処理が行われている様子を示す図である。図示のとおり、センサ内蔵液晶パネル３０１にはカーソルＣＳが表示されており、ユーザは、このセンサ内蔵液晶パネル３０１を見ながら、指またはペンで当該センサ内蔵液晶パネル３０１上を操作することにより、当該カーソルＣＳの移動等の制御を行うことができる。

次に、図２０（ｂ）は、センサ内蔵液晶パネル３０１上に名刺Ｐ１が載置された様子を示す図である。センサ付きサブ表示装置２３０は、名刺Ｐ１の表側がセンサ内蔵液晶パネル３０１に対向するように載置されると、名刺読み取り処理を行う。すなわち、センサ付きサブ表示装置２３０は、名刺Ｐ１がセンサ内蔵液晶パネル３０１上に載置されたことを認識すると、名刺読み取り処理における文字認識処理を自動的に実行する。

次に、センサ付きサブ表示装置２３０は、上記の文字認識処理が完了すると、センサ内蔵液晶パネル３０１に図２０（ｃ）または図２０（ｄ）に示すような画像を表示させる。図２０（ｃ）は、住所録への登録処理を行うか否かをユーザに通知した場合のセンサ付きサブ表示装置２３０の様子を示す図である。また、図２０（ｄ）は、住所録への登録処理を行い、当該登録処理が完了したことを通知した場合のセンサ付きサブ表示装置２３０の様子を示す図である。

なお、図２０（ｃ）および図２０（ｄ）は、名刺Ｐ１の読み取りが完了し、ユーザが名刺Ｐ１を取り除いた状態を示している。名刺Ｐ１を取り除くタイミングは、例えば音声通知、バイブレーションによる通知等を用いることによって実現できる。

図２０（ｃ）の場合、センサ付きサブ表示装置２３０は、文字認識処理が完了すると、センサ内蔵液晶パネル３０１に住所録への登録処理を行うか否かをユーザに問い合わせるための問合せ画像を表示する。

一方、図２０（ｄ）の場合、センサ付きサブ表示装置２３０は、文字認識処理が完了すると、住所録への登録処理を行う。すなわち、図２０（ｃ）のように、センサ付きサブ表示装置２３０は、ユーザへの問合せを行わずに、文字認識処理後、自動的に住所録への登録処理を実行する。そして、図示のとおり、センサ付きサブ表示装置２３０は、住所録への登録処理が完了すると、完了したことをユーザに通知する画像を液晶パネル３１１に表示する。

なお、上記では、センサ付きサブ表示装置２３０において名刺読み取り処理が行われる構成について説明したが、これに限られたものではない。すなわち、センサ付きサブ表示装置２３０は、名刺Ｐ１が載置されたことを認識すると、その旨をメイン表示装置２１０に通知し、当該メイン表示装置２１０にて名刺読み取り処理を行わせる構成であってもよい。

（１画面表示装置としてのセンサ付きサブ表示装置のより詳細な構成および処理）
次に、図１および図２１を参照しながら、１画面表示装置としてのセンサ付きサブ表示装置（情報処理装置）２３０のより詳細な構成および処理について説明する。図２１は、１画面表示装置としてのセンサ付きサブ表示装置２３０のより詳細な構成を示すブロック図である。

ここで、１画面表示装置としてのセンサ付きサブ表示装置２３０を実現する場合、（１）メイン表示装置２１０のアプリケーション実行部８１０１が、ポインティング処理、名刺読み取り関連処理、記号情報処理等を行う場合と、（２）センサ付きサブ表示装置２３０のサブ側主制御部８３０がこれらの処理を行う場合とがある。

（１）メイン表示装置２１０が各処理を行う場合
まず、１画面表示装置としてのセンサ付きサブ表示装置２３０が、メイン表示装置２１０に各処理を行わせる場合について、図１を用いて説明する。

この場合、メイン側主制御部８１０のアプリケーション実行部８１０１は、サブ側主制御部８３０の一致度判定部８３０３からカテゴリー通知、または、座標取得部８３０４から位置座標データを受信すると、当該カテゴリー通知または位置座標データに応じて、ポインティング処理、名刺読み取り関連処理または記号情報処理を行う。そして、アプリケーション実行部８１０１は、各処理にて必要となる画像の生成を、サブ側主制御部８３０の表示データ制御部８３０５に指示する。

表示データ制御部８３０５は、表示データ制御部８１０２と同様、アプリケーション実行部８１０１から送信される画像生成の指示を受けると、この指示に従って画像を生成し、当該画像をデータ処理部７３０に送信することによって、センサ内蔵液晶パネル３０１に当該画像を表示させるものである。これにより、表示データ制御部８３０５は、各処理に応じた画像（カーソルＣＳ、アイコン等を含む画像、住所録への登録処理前後の画像（図２０（ｃ）および図２０（ｄ）に示す画像等）をセンサ内蔵液晶パネル３０１に表示させることができる。

なお、その他の構成および処理については、上記２画面表示装置２００の構成および処理と同一とであるので、ここではその説明を省略する。

つまり、この場合のセンサ付きサブ表示装置２３０は、サブ側主制御部８３０の表示データ制御部８３０５が、メイン側主制御部８１０のアプリケーション実行部８１０１からの画像生成の指示を受ける構成である。これにより、ユーザは、センサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を見るだけで、各処理への対応を行うことができる。

なお、アプリケーション実行部８１０１は、各処理に応じた画像を表示データ制御部８３０５に生成させるための指示を、当該表示データ制御部８３０５に送信するために、「第０フィールド」フィールドの値として“処理コマンド”（“010”）を指定した装置間コマンドを送信する。

（２）センサ付きサブ表示装置２３０が各処理を行う場合
次に、１画面表示装置としてのセンサ付きサブ表示装置２３０が自装置で各処理を行う場合について、図２１を用いて説明する。図２１に示すように、サブ側主制御部８３０は、像取得部８３０１、特徴量抽出部８３０２、一致度判定部８３０３、座標取得部８３０４、表示データ制御部８３０５およびアプリケーション実行部（処理実行手段）８３０６を備えている。ここでは、図１に示すサブ側主制御部８３０の構成と異なる構成および処理だけについて説明する。

一致度判定部８３０３および座標取得部８３０４は、それぞれカテゴリー通知および位置座標データをアプリケーション実行部８３０６に送信する。

アプリケーション実行部８３０６は、上記アプリケーション実行部８１０１と同様、一致度判定部８３０３から送信されるカテゴリー通知に対応したアプリケーションプログラムを記憶部９３１から読み出し、実行するものである。なお、記憶部９３１には、記憶部９１１に格納されたものと同一の、各処理を行うためのアプリケーションプログラムおよび住所録が格納されている。

アプリケーション実行部８３０６は、各処理にて必要となる画像生成の指示を、表示データ制御部８３０５に行う。そして、表示データ制御部８３０５は、上記指示に従って画像を生成し、当該画像を表示データとしてデータ処理部７３０に送信する。これにより、表示データ制御部８３０５は、各処理に応じた画像をセンサ内蔵液晶パネル３０１に表示させることができる。

つまり、この場合のセンサ付きサブ表示装置２３０は、各処理を実行するためのアプリケーション実行部８３０６をサブ側主制御部８３０に備えて、各処理に応じた画像をセンサ内蔵液晶パネル３０１に表示する構成である。このため、センサ付きサブ表示装置２３０は、メイン表示装置２１０と通信可能な状態でない場合であっても、単独で各処理を行うことができる。

なお、アプリケーション実行部８３０６は、記憶部９３１に格納された住所録への登録処理を行った後、一定の記憶容量に達した場合、または、ユーザが所定の操作を行った場合、当該住所録のデータを、メイン表示装置２１０または外部装置に送信するようにしてもよい。

なお、上記（１）および（２）において、センサ内蔵液晶パネル３０１の大きさ（面積）は、図１７と同様、通常の名刺Ｐ１（約３インチ）が載置可能な程度の大きさであればよい。この場合であっても、センサ付きサブ表示装置２３０は、図２３および図２４に示す従来技術としてのサブ表示装置１２３１、１２３２のように、Startボタン１９４０を設けたり、機能ボタン（Startボタン）１９６０を表示する必要がない。これは、名刺Ｐ１等のユーザの指またはペン以外の対象物がセンサ付きサブ表示装置２３０上に載置された場合に、センサ付きサブ表示装置２３０が自動的に対象物に応じた処理を実行するからである。

（補足）
最後に、本実施形態に係る２画面表示装置２００の各ブロック、特にメイン側主制御部８１０のアプリケーション実行部８１０１および表示データ制御部８１０２、並びに、サブ側主制御部８３０の像取得部８３０１、特徴量抽出部８３０２、一致度判定部８３０３、座標取得部８３０４、表示データ制御部８３０５およびアプリケーション実行部８３０６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、本実施形態に係る２画面表示装置２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである２画面表示装置２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記２画面表示装置２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、本実施形態に係る２画面表示装置２００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、メイン表示装置とセンサ付きサブ表示装置とを備えた情報処理装置に適用できる。特に、メインディスプレイとサブノートディスプレイとを備えたノートパソコンなどに好適に適用できる。

本発明の一実施形態を示すものであり、メイン表示装置およびセンサ付きサブ表示装置の詳細構成を示すブロック図である。 同図（ａ）は、２画面表示装置の具体例を示す模式図であり、同図（ｂ）は、同図（ａ）に示した２画面表示装置の具体例において、メイン表示装置とセンサ付きサブ表示装置とを分離した状態を示す模式図である。 上記センサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 同図（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記メイン表示装置およびセンサ付きサブ表示装置の要部構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部、およびデータ処理部のより詳細な構成を示すブロック図である。 上記センサ付きサブ表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。 サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。 サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 装置間コマンドのフレーム構造の一例を示す模式図である。 スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。 スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。 表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。 処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。 同図（ａ）は、対象物がセンサ内蔵液晶パネル上に載置されていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図であり、同図（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図である。 上記表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 本発明の一実施形態に係る２画面表示装置におけるポインティング処理から名刺読み取り処理への遷移の様子を示す図であり、同図（ａ）は、２画面表示装置２００においてポインティング処理が行われている様子を示す図であり、同図（ｂ）は、センサ内蔵液晶パネル３０１上に名刺が載置された様子を示す図であり、同図（ｃ）は、住所録への登録処理を行うか否かをユーザに通知した場合の２画面表示装置２００の様子を示す図であり、同図（ｄ）は、住所録への登録処理を行い、当該登録処理が完了したことを通知した場合の２画面表示装置２００の様子を示す図である。 本発明の一実施形態に係る２画面表示装置において、検知した像に応じて実行する処理の切り替えを行う際の処理の流れを示すフローチャートである。 本発明の一実施形態に係る２画面表示装置において、名刺読み取り関連処理を行う際の処理の流れを示すフローチャートである。 本発明の一実施形態に係る１画面表示装置としてのセンサ付きサブ表示装置におけるポインティング処理から名刺読み取り処理への遷移の様子を示す図であり、同図（ａ）は、センサ付きサブ表示装置においてポインティング処理が行われている様子を示す図であり、同図（ｂ）は、センサ内蔵液晶パネル上に名刺が載置された様子を示す図であり、同図（ｃ）は、住所録への登録処理を行うか否かをユーザに通知した場合のセンサ付きサブ表示装置の様子を示す図であり、同図（ｄ）は、住所録への登録処理を行い、当該登録処理が完了したことを通知した場合のセンサ付きサブ表示装置の様子を示す図である。 本発明の一実施形態に係る１画面表示装置としてのセンサ付きサブ表示装置のより詳細な構成を示すブロック図である。 従来技術を示すものであり、メイン表示装置とサブ表示装置とからなる２画面表示装置において、サブ表示装置で名刺を読み取り、メイン表示装置がアプリケーションプログラムに従った画像を表示するときの流れを示す図であり、同図（ａ）は、名刺を読み取るときの２画面表示装置の様子を示す図であり、同図（ｂ）は、名刺を読み取る２画面表示装置の様子を示す図であり、同図（ｃ）は、名刺の読み取りが完了したときの２画面表示装置の様子を示す図である。 従来技術を示すものであり、１画面表示装置で名刺を読み取ると共に、当該１画面表示装置がアプリケーションプログラムに従った画像を表示するときの流れを示すものであり、同図（ａ）は、名刺を読み取るときの１画面表示装置の様子を示す図であり、同図（ｂ）は、読み取る名刺を表示画面上に載せたときの１画面表示装置の様子を示す図であり、同図（ｃ）は、Startボタンを押下したときの１画面表示装置の様子を示す図であり、同図（ｄ）は、Readyランプによって読み取り完了を通知する１画面表示装置の様子を示す図であり、同図（ｅ）は、名刺の読み取りが完了し、名刺を表示画面上から取り除いたときの１画面表示装置の様子を示す図である。 従来技術を示すものであり、１画面表示装置で名刺を読み取ると共に、当該１画面表示装置がアプリケーションプログラムに従った画像を表示するときの流れを示すものであり、同図（ａ）は、名刺を読み取るときの１画面表示装置の様子を示す図であり、同図（ｂ）は、読み取る名刺を表示画面上に載せたときの１画面表示装置の様子を示す図であり、同図（ｃ）は、表示画面に表示されたStartボタンを押下したときの１画面表示装置の様子を示す図であり、同図（ｄ）は、表示画面に読み取り完了を通知するメッセージを表示させる１画面表示装置の様子を示す図である。

符号の説明

２００ ２画面表示装置（情報処理装置）
２３０ センサ付きサブ表示装置（情報処理装置）
３０１ センサ内蔵液晶パネル（面状部材）
９１１、９３１ 記憶部
８１０１ アプリケーション実行部（処理実行手段）
８３０２ 特徴量抽出部（特徴量抽出手段）
８３０３ 一致度判定部（判定手段）
８３０６ アプリケーション実行部（処理実行手段）

Claims (11)

1. 近傍の対象物の像を検知する面状部材と、
   上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出手段と、
   上記特徴量抽出手段によって抽出された上記像の特徴量に応じた処理を実行する処理実行手段と、を備えたことを特徴とする情報処理装置。
2. 上記特徴量抽出手段によって抽出された上記像の特徴量に基づいて、上記対象物の種別を判定する判定手段をさらに備え、
   上記処理実行手段は、上記判定手段が判定した上記対象物の種別に応じた処理を実行することを特徴とする請求項１に記載の情報処理装置。
3. 上記判定手段によって、上記対象物が１または複数の文字を含む対象物であると判定された場合、
   上記処理実行手段は、上記対象物の像から抽出した文字を、自装置が備える記憶部に登録する登録処理を実行することを特徴とする請求項２に記載の情報処理装置。
4. 上記判定手段によって、上記対象物が１または複数の文字を含む対象物であると判定された場合、
   上記処理実行手段は、上記対象物の像から抽出した文字が、電話番号、メールアドレスまたはＵＲＬ（Uniform Resource Locator）であると判定した場合、自装置が備える通話機能、メール機能またはブラウザ機能を実行することを特徴とする請求項２または３に記載の情報処理装置。
5. 上記処理実行手段は、上記登録処理を実行するか否かをユーザに選択させることを特徴とする請求項３に記載の情報処理装置。
6. 上記処理実行手段は、上記通話機能、メール機能またはブラウザ機能を実行するか否かをユーザに選択させることを特徴とする請求項４に記載の情報処理装置。
7. 上記判定手段によって、上記対象物がＵＲＬを２次元パターンで表した記号情報を含む対象物であると判定された場合、
   上記処理実行手段は、上記ＵＲＬに特定されている情報を取得する取得処理を実行することを特徴とする請求項２から６の何れか１項に記載の情報処理装置。
8. 上記処理実行手段は、上記登録処理を実行した後に所定の時間が経過すると、当該登録処理を終了させることを特徴とする請求項３または５に記載の情報処理装置。
9. 上記処理実行手段は、上記取得処理を実行した後に所定の時間が経過すると、当該取得処理を終了させることを特徴とする請求項７に記載の情報処理装置。
10. 近傍の対象物の像を検知する面状部材を備えた情報処理装置の制御方法であって、
    上記面状部材が検知した上記像の特徴量を抽出する特徴量抽出ステップと、
    上記特徴量抽出ステップによって抽出された上記像の特徴量に応じた処理を実行する処理実行ステップと、を含むことを特徴とする情報処理装置の制御方法。
11. 請求項１から９の何れか１項に記載の情報処理装置の上記各手段としてコンピュータを機能させるための情報処理プログラム。

Images