JP2010108087A

JP2010108087A - 文字認識装置、文字認識方法、および文字認識プログラム

Info

Publication number: JP2010108087A
Application number: JP2008277130A
Authority: JP
Inventors: Katsuhiko Kimihara; 勝彦公原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-10-28
Filing date: 2008-10-28
Publication date: 2010-05-13

Abstract

【課題】複数種類の文字を手書き入力にて受け付けられる文字認識装置における文字認識の精度を向上させる。
【解決手段】文字認識装置１００は、第１の表示パネル１４０と、第１の表示パネル１４０にテキストを表示させる第１の表示制御手段１１１と、表示されるテキスト内の領域の指定を受け付ける第１の受付手段１１２と、領域に含まれる文字の属性を取得する取得手段１１３と、手書き入力を受け付ける第２の受付手段１１４と、属性に基づいて手書き入力に対応する文字を認識する認識手段１１５とを備える。
【選択図】図１８

Description

本発明は、手書き入力された画像に基づいて文字を認識する文字認識装置、文字認識方法、および文字認識プログラムに関し、特に、テキストを表示しながら手書き入力を受け付けることができる文字認識装置、文字認識方法、および文字認識プログラムに関する。

テキストを表示しながら手書き入力を受け付けることができる電子機器（文字認識装置）が知られている。そのような電子機器の中には、表示パネルと操作パネルとを有するものがある。より詳細には、電子機器は、表示パネルを介してユーザにテキストを表示するとともに、タブレット機能などを搭載した操作パネルを介してユーザから手書き入力などを受け付ける。

そのような電子機器として、たとえばノート型パーソナルコンピュータや電子辞書などが挙げられる。ノート型パーソナルコンピュータは、タブレットを利用してユーザから手書き入力された文字を認識し、当該文字をワープロファイルやＨＴＭＬファイルなどに取り込む。電子辞書は、タブレットを利用してユーザから手書き入力された文字を認識し、当該文字に対応する単語を検索し、テキストや画像を表示することによって当該単語の意味をユーザに示す。

そして、特開２００４−５１０５号公報（特許文献１）には、メイン表示装置のコントローラの起動状態や処理状況とは独立して、サブ表示装置を用いてユーザに対する表示を行うことができ、ユーザビリティの向上が図れた情報処理装置が開示されている。特開２００４−５１０５号公報（特許文献１）によると、ＯＳ起動前の段階で、ＢＩＯＳにパスワードが設定されていた場合に、ＢＩＯＳは、メインディスプレイ及びそのコントローラと比較して軽い（即ち少ない設定項目の）制御のサブディスプレイ及びそのコントローラをまず表示可能な状態とし、設定されたパスワードの入力要求をサブディスプレイに表示するよう制御する。このメッセージ表示を受けてパスワードが入力され、パスワードが一致すると、ＢＩＯＳは、グラフィックスコントローラ及びメインディスプレイの初期化を実行し、ＨＤＤのＯＳを起動して、次の処理へと進む。

また、特開２００４−５２１２号公報（特許文献２）には、二つのディスプレイデバイスを備え、それぞれのディスプレイデバイスに操作画像を表示する構成に於いて、誤操作を未然に防止してブラインドタッチ操作を円滑に行うことのできる情報処理装置およびコンピュータの操作方法が開示されている。特開２００４−５２１２号公報（特許文献２）によると、メインＣＰＵは、ＵＳＢコントローラを介して、ｃＰａｄデバイスの制御プログラムより、ｃＰａｄの画面が切り替わるイベント通知を受けると、メインディスプレイ上に表示されているマウスポインタの近くに、切り替えメニュー画面の表示エリアを確保して、そのエリアにｃＰａｄデバイスで扱う切り替えメニュー画面を表示する。

また、特開２００４−２３４５０４号公報（特許文献３）には、サウンド出力の無効化操作に拘わらず、サウンドデータを扱っている状態をユーザに正確に通知できる機能を備えた情報処理機器および状態通知方法が開示されている。特開２００４−２３４５０４号公報（特許文献３）によると、ＥＣ／ＫＢＣは、サウンド出力検知部から出力されるサウンド出力検出信号（ＯＤＴ）、およびオア回路から出力されるサウンド検出信号（ＳＤＴ）を入力して、これらの信号をもとにサウンドモニタドライブ信号（ＳＭＤ）を生成し、当該サウンドモニタドライブ信号（ＳＭＤ）によりサウンドモニタを動作制御する。

また、特開２０００−３３９０９７号公報（特許文献４）には、情報処理装置が開示されている。特開２０００−３３９０９７号公報（特許文献４）によると、情報処理装置は、タッチパッドの背面にＬＣＤが設けられ、機能ボタンが操作されたとき、ＬＣＤに機能を選択するメニューが表示される。ユーザが、タッチパッドを操作して、メニューの中から、例えばテンキーを選択すると、ＬＣＤにテンキーが表示される。タッチパッドを介して、そのテンキーを操作することで演算を行うことができる。
特開２００４−５１０５号公報特開２００４−５２１２号公報特開２００４−２３４５０４号公報特開２０００−３３９０９７号公報

しかしながら、複数種類の文字（言語）を取り扱える電子機器の場合、手書き入力された文字を認識する際に参照すべき文字の数が多いため、文字認識の精度が低く、文字認識に要する時間も長い。すなわち、入力された単語の意味を同一言語にて説明する辞書機能と入力された単語の意味を他の言語にて説明する辞書機能とを有する電子機器のように、手書き入力によって受け付けられる文字の種類が多い電子機器ほど、正確な文字認識を行うことが困難になる。

本発明は、かかる問題を解決するためになされたものであり、その目的は、複数種類の文字を手書き入力によって受け付けられる文字認識装置における文字認識の精度を向上させることである。

この発明のある局面に従うと、文字認識装置が提供される。文字認識装置は、第１の表示パネルと、第１の表示パネルにテキストを表示させる第１の表示制御手段と、表示されるテキスト内の領域の指定を受け付ける第１の受付手段と、領域に含まれる文字の属性を取得する取得手段と、手書き入力を受け付ける第２の受付手段と、属性に基づいて手書き入力に対応する文字を認識する認識手段とを備える。

好ましくは、文字認識装置は、文字を特定するための識別情報に対応付けて文字の形状を示す形状情報を記憶する記憶部をさらに備える。識別情報は対応する文字の属性を含む。認識手段は、第２の受付手段が受け付けた手書き入力に基づいて、取得手段が取得した属性に対応する形状情報の各々を順次参照することにより、手書き入力に対応する識別情報を取得する。

好ましくは、属性は対応する文字の言語の種類を含む。
好ましくは、文字認識装置は、第２の表示パネルと、第２の表示パネルに領域に含まれる文字を表示させる第２の表示制御手段とをさらに備える。第２の受付手段は、第２の表示パネルを介して手書き入力を受け付ける。

好ましくは、第２の表示パネルは、入射光に応じて入力信号を生成する複数の光センサ回路と、出力信号に応じて光を発する複数の画素回路とを含む。第２の受付手段は、複数の光センサ回路からの入力信号に基づいて手書き入力を受け付ける。第２の表示制御手段は、手書き入力に基づいて画素回路に出力信号を出力することによって、第２の表示パネルに手書き画像を表示させる。

好ましくは、第１の表示制御部は、認識手段が認識した文字を属性に基づいて第１の表示パネルに表示させる。

好ましくは、属性は、対応する文字のサイズを含む。認識手段は、手書き入力された文字のサイズを取得する。第１の表示制御部は、属性に含まれる文字のサイズと手書き入力された文字のサイズとに基づいて表示サイズを決定し、認識手段が認識した文字を第１の表示パネルに表示サイズで表示させる。

この発明の別の局面に従うと、第１の表示パネルと演算処理部とを有する文字認識装置における文字認識方法が提供される。文字認識方法は、演算処理部が、第１の表示パネルにテキストを表示させるステップと、演算処理部が、表示されるテキスト内の領域の指定を受け付けるステップと、演算処理部が、領域に含まれる文字の属性を取得するステップと、演算処理部が、手書き入力を受け付けるステップと、演算処理部が、属性に基づいて手書き入力に対応する文字を認識するステップとを備える。

この発明の別の局面に従うと、第１の表示パネルと演算処理部とを有する文字認識装置に文字を認識させるための文字認識プログラムが提供される。文字認識プログラムは、演算処理部に、第１の表示パネルにテキストを表示させるステップと、表示されるテキスト内の領域の指定を受け付けるステップと、領域に含まれる文字の属性を取得するステップと、手書き入力を受け付けるステップと、属性に基づいて手書き入力に対応する文字を認識するステップとを実行させる。

以上のように、本発明によって、状況に応じてユーザが操作し易い操作画面を提供できる文字認識装置、文字認識方法、および文字認識プログラムが提供される。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［実施の形態１］
＜電子機器１００の全体構成＞
まず、本実施の形態に係る文字認識装置の一例である電子機器１００の全体構成について説明する。電子機器１００は、ＰＤＡ（Personal Digital Assistant）、ノート型パーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する情報処理デバイスとして構成される。本実施の形態に係る電子機器１００は、後述する光センサ液晶を介してユーザから手書き入力された文字を認識し、当該文字をテキストデータとして利用する。

図１は、本実施の形態に係る電子機器１００の外観を示す概略図である。より詳細には、図１（Ａ）は第１の表示パネル１４０（あるいは表示装置１０２Ａ）に表示されたテキストのうち日本語を含む領域が指定された場合の電子機器１００を示すイメージ図であり、図１（Ｂ）は第１の表示パネル１４０に表示されたテキストのうち英語を含む領域が指定された場合の電子機器１００を示すイメージ図であり、図１（Ｃ）は第１の表示パネル１４０に表示されたテキストのうち中国語を含む領域が指定された場合の電子機器１００を示すイメージ図である。

図１（Ａ）〜図１（Ｃ）を参照して、電子機器１００は、第１の筐体１００Ａと第２の筐体１００Ｂとを含む。第１の筐体１００Ａと第２の筐体１００Ｂとは、ヒンジ１００Ｃにより折畳み可能に接続されている。第１の筐体１００Ａは、第１の光センサ内蔵液晶パネル１４０（以下、第１の表示パネル１４０ともいう。）を備える。第２の筐体１００Ｂは、操作キーと第２の光センサ内蔵液晶パネル２４０（以下、第２の表示パネル２４０ともいう。）を備える。このように、本実施の形態に係る電子機器１００は、光センサ内蔵液晶パネルを２つ備える。

そして、本実施の形態に係る電子機器１００は、第１の表示パネル１４０を用いてテキストや画像などのコンテンツを表示するとともに、操作キー１７７および第２の表示パネル２４０を介してユーザからの命令を受け付ける。第２の表示パネル２４０は、指やスタイラスペン９９などを介して手書き入力を受け付ける。電子機器１００は、第２の表示パネル２４０が受け付けた手書き入力に基づいて手書き情報を作成し、当該手書き情報に基づいて第２の表示パネル２４０に手書き画像を表示したり、手書き情報に基づいてテキストデータを取得したりする。

なお、第１の表示パネル１４０は、光センサ内蔵液晶パネルである必要はなく、テキストなどのコンテンツが表示可能であればよい。一方、第２の表示パネル２４０は、ユーザによる手書き入力を受け付ける必要があるため、タブレット機能と表示機能とを有するタッチパネルや、光センサ内蔵液晶パネルを利用することが好ましい。

＜電子機器１００の動作概要＞
次に、図１（Ａ）〜図１（Ｃ）を参照して、本実施の形態に係る電子機器１００の動作概要について説明する。

図１（Ａ）を参照して、まず、電子機器１００は、テキストデータに基づいて第１の表示パネル１４０にテキストを表示させる。ユーザは、第１の表示パネル１４０に表示されているテキストのうち、文字の編集を所望する領域を指定（選択）する。ユーザは、いわゆる十字キーを操作することによってポインタ１４０Ｂやカーソルを移動させ、いわゆるＳｈｉｆｔキーや十字キーを操作することによって複数の日本語の文字を含む文字領域（指定領域）を指定する。指定された文字領域は、指定枠１４０Ａで囲まれて表示されてもよいし、第１の表示パネル１４０において白黒反転表示されてもよい。

第２の表示パネル２４０は、指定領域に含まれる文字を表示する。ユーザは、たとえば指で文字を消去したうえで、スタイラスペン９９で新たな文字を手書き入力する。このとき、電子機器１００は、テキストデータに基づいて、指定領域に含まれる文字の言語を取得する。図１（Ａ）の場合、電子機器１００は、指定領域に含まれる文字が日本語であることを認識する。

電子機器１００は、日本語の文字（文字コード）の中から、手書き入力に対応する手書き画像が示す文字を探索することによって、手書き入力された文字を認識する。そして、電子機器１００は、第１の表示パネル１４０に認識された文字を含むテキストを表示させる。

図１（Ｂ）を参照して、ユーザは、第１の表示パネル１４０に表示されているテキストのうち、複数の英語の文字を含む指定領域を指定する。

第２の表示パネル２４０は、指定領域に含まれる文字を表示する。ユーザは、たとえば指で文字を消去したうえで、スタイラスペン９９で新たな文字を手書き入力する。このとき、電子機器１００は、テキストデータに基づいて、指定領域に含まれる文字の言語を取得する。図１（Ｂ）の場合、電子機器１００は、指定領域に含まれる文字が英語であることを認識する。

電子機器１００は、英語の文字（文字コード）の中から、手書き入力に対応する手書き画像が示す文字を探索することによって、手書き入力された文字を認識する。そして、電子機器１００は、第１の表示パネル１４０に認識された文字を含むテキストを表示させる。

図１（Ｃ）を参照して、ユーザは、第１の表示パネル１４０に表示されているテキストのうち、複数の中国語の文字を含む指定領域を指定する。

第２の表示パネル２４０は、指定領域に含まれる文字を表示する。ユーザは、たとえば指で文字を消去したうえで、スタイラスペン９９で新たな文字を手書き入力する。このとき、電子機器１００は、テキストデータに基づいて、指定領域に含まれる文字の言語を取得する。図１（Ｃ）の場合、電子機器１００は、指定領域に含まれる文字が中国語であることを認識する。

電子機器１００は、中国語の文字（文字コード）の中から、手書き入力に対応する手書き画像が示す文字を探索することによって、手書き入力された文字を認識する。そして、電子機器１００は、第１の表示パネル１４０に認識された文字を含むテキストを表示させる。

通常の複数種類の文字を取り扱える電子機器の場合、手書き入力された文字を認識する際に参照すべき文字の数が多いため、文字認識の精度が低く、文字認識に要する時間も長い。しかしながら、本実施の形態に係る電子機器１００は、指定された領域の文字の属性を考慮することによって手書き入力された文字を認識するため、文字認識の精度が向上する。以下、このような機能を実現するための構成について詳述する。

＜電子機器１００のハードウェア構成＞
次に、図２を参照して、電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。

電子機器１００は、第１ユニット１００１と、第２ユニット１００２とを含む。第２ユニット１００２は、電子機器１００から着脱可能に第１ユニット１００１に接続されている。第１ユニット１００１は、本体装置１０１と、表示装置１０２とを含む。第２ユニット１００２は、表示装置１０３と、本体装置１０４とを含む。

第１の筐体１００Ａは、表示装置１０２を含む。第２の筐体１００Ｂは、本体装置１０１を含む。また、第２の筐体１００Ｂは、第２ユニット１００２を含む。

（第１ユニットについて）
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、外部通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７と、電源スイッチ１９１と、電源回路１９２と、電源検出部１９３と、ＵＳＢ（Universal Serial Bus）コネクタ１９４と、アンテナ１９５と、ＬＡＮ（Local Area Network）コネクタ１９６とを含む。各構成要素（１１０，１７１〜１７７，１９３）は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。

ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書込みおよび消去が可能なＲＯＭである。

外部通信部１７４は、他の電子機器と通信を行う。具体的には、外部通信部１７４は、ＵＳＢコネクタ１９４を介して、たとえば第２ユニット１００２と通信を行う。また、外部通信部１７４は、アンテナ１９５を介して、たとえば第２ユニット１００２と無線通信を行う。さらに、外部通信部１７４は、ＬＡＮコネクタ１９６を介して、他の電子機器との間で有線通信を行う。

なお、本体装置１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）以外の無線通信により、他の電子機器と通信を行ってもよい。たとえば、外部通信部１７４は、図示しない無線ＬＡＮアンテナを介して、ＬＡＮに接続された他の電子機器との間で無線通信を行ってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行ってもよい。

電源スイッチ１９１は、電子機器１００を起動させるためのスイッチである。
電源スイッチ１９１がオンすると、電源回路１９２は、電源検出部１９３を介して、データバスＤＢ１に接続されている各構成要素と表示装置１０２とに電力を供給する。また、電源スイッチ１９１がオンすると、電源回路１９２は、電源検出部１９３を介することなく、外部通信部１７４に電力を供給する。

電源検出部１９３は、電源回路１９２からの出力を検出する。また、電源検出部１９３は、当該検出した出力に関する情報（たとえば、電圧値や電流値）を、ＣＰＵ１１０に送る。

ＵＳＢコネクタ１９４は、第１ユニット１００１を第２ユニット１００２に接続するために用いられる。なお、本体装置１０１は、ＵＳＢコネクタ１９４に加えて他のＵＳＢコネクタを備えていてもよい。

第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２にデータを送信する。また、第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２からデータを受信する。さらに、第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２に電力を供給する。

アンテナ１９５は、第１ユニット１００１と、他の通信装置（たとえば第２ユニット１００２）との間における、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に沿った通信に用いられる。ＬＡＮコネクタ１９６は、電子機器１００をＬＡＮに接続するために用いられる。

表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、表示パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。

ドライバ１３０は、表示パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。

表示パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、表示パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。表示パネル１４０の詳細については、後述する。

内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。

バックライト１７９は、表示パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。

画像処理エンジン１８０は、ドライバ１３０を介して表示パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、表示パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。

ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。

タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。

上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７，図８，および図１４）。

なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。

ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、表示パネル１４０の周辺機器を当該表示パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、表示パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。

（第２ユニットについて）
第２ユニット１００２は、第１ユニット１００１から電力の供給を受ける。具体的には、後述するＵＳＢコネクタ２９４と第１ユニット１００１のＵＳＢコネクタ２９４とを接続することにより、第２ユニット１００２は、第１ユニット１００１の電源回路１９２から電力の供給を受ける。

本体装置１０４は、ＣＰＵ２１０と、ＲＡＭ２７１と、ＲＯＭ２７２と、外部通信部２７４と、電源検出部２９３と、ＵＳＢコネクタ２９４と、アンテナ２９５と、信号強度検出部２９７とを含む。各構成要素（２１０，２７１，２７２，２７４，２９３）は、相互にデータバスＤＢ２によって接続されている。

ＣＰＵ２１０は、プログラムを実行する。ＲＡＭ２７１は、ＣＰＵ２１０によるプログラムの実行により生成されたデータを揮発的に格納する。ＲＯＭ２７２は、データを不揮発的に格納する。また、ＲＯＭ２７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書込みおよび消去が可能なＲＯＭである。

外部通信部２７４は、他の電子機器との間で通信を行う。具体的には、外部通信部２７４は、ＵＳＢコネクタ２９４を介して、たとえば第１ユニット１００１と通信を行う。また、外部通信部２７４は、アンテナ２９５を介して、たとえば第１ユニット１００１と通信を行う。

なお、本体装置１０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）以外の無線通信により、他の電子機器（たとえば、第１ユニット１００１）と通信を行ってもよい。たとえば、外部通信部２７４は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行ってもよい。

信号強度検出部２９７は、アンテナ２９５を介して受信した信号についての強度を検出する。そして、信号強度検出部２９７は、検出した強度を外部通信部２７４に送る。

ＵＳＢコネクタ１９４は、第２ユニット１００２を第１ユニット１００１に接続するために用いられる。

第２ユニット１００２は、ＵＳＢコネクタ２９４を介して、第１ユニット１００１にデータを送信する。また、第２ユニット１００２は、ＵＳＢコネクタ２９４を介して、第１ユニット１００１からデータを受信する。さらに、第２ユニット１００２は、上述したように、ＵＳＢコネクタ２９４を介して、第１ユニット１００１から電力の供給を受ける。なお、第２ユニット１００２は、第１ユニット１００１から供給された電力を、図示しないバッテリに蓄電する。

アンテナ２９５は、第２ユニット１００２と、たとえば第１ユニット１００１との間における、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に沿った通信に用いられる。

電源検出部１９３は、ＵＳＢコネクタ２９４を介して給電された電力を検出する。また、電源検出部１９３は、当該検出した電力についての情報を、ＣＰＵ２１０に送る。

また、本体装置１０４は、赤外線通信を行う機能を備えていてもよい。
表示装置１０３は、ドライバ２３０と、光センサ内蔵液晶パネル２４０（以下、「表示パネル２４０」と称する）と、内部ＩＦ２７８と、バックライト２７９と、画像処理エンジン２８０とを含む。画像処理エンジン２８０は、ドライバ制御部２８１と、タイマ２８２と、信号処理部２８３とを含む。

表示装置１０３は、表示装置１０２と同様な構成を有する。つまり、ドライバ２３０、表示パネル２４０、内部ＩＦ２７８、バックライト２７９、および画像処理エンジン２８０は、表示装置１０２における、ドライバ１３０、表示パネル１４０、内部ＩＦ１７８、バックライト１７９、画像処理エンジン１８０と同じ構成をそれぞれ有する。ドライバ制御部２８１、タイマ２８２、および信号処理部２８３は、表示装置１０２における、ドライバ制御部１８１、タイマ１８２、信号処理部１８３と同じ構成をそれぞれ有する。したがって、表示装置１０３に含まれる各機能ブロックについての説明は、繰り返さない。

ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。

図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、表示パネル１４０の構成と、当該表示パネル１４０の周辺回路の構成とについて説明する。図３は、表示パネル１４０の構成と、当該表示パネル１４０の周辺回路とを示した図である。

図３を参照して、表示パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。

また、図２に示した表示装置１０２のドライバ１３０は、表示パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。

走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。

データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。

なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。

画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。

画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。

なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。

Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。

ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。

光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。

そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。

また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。

なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。

光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。

フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。

ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。

スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。

アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。

なお、画素回路１４１を用いて画像を表示パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。

図４は、表示パネル１４０とバックライト１７９との断面図である。図４を参照して、表示パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。

アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。

また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。

対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。

また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。

カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。

表示パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、表示パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。

なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。

ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。

以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。

まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。

ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。

ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。

次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。

このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。

なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。

次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。

このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。

この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。

ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。

ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、表示パネル１４０における各光センサ回路の動作について説明する。

まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。

なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。

１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。

以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。

なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が表示パネル１４０から出力される。このため、以下では、表示パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。

また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、表示パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。

以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、表示パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。

このように、表示パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。

図６は、表示パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。

図６を参照して、ユーザの指９００が表示パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。

また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては表示パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。

ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、表示パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、表示パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。

なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として表示パネルを例に挙げて説明しているが、表示パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。

＜データについて＞
次に、第１ユニット１００１と第２ユニット１００２との間でやり取りされるコマンド、および第１ユニット１００１内の本体装置１０１と表示装置１０２との間でやり取りされるコマンドについて説明する。

図７は、コマンドの概略構成を示した図である。図７を参照して、コマンドは、ヘッダＤＡ０１と、第１フィールドＤＡ０２と、第２フィールドＤＡ０３と、第３フィールドＤＡ０４と、第４フィールドＤＡ０５と、第５フィールドＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。

図８は、種別「０００」のコマンド（つまり、センシングコマンド）を説明するための図である。ＣＰＵ１１０は、種別「０００」のコマンド（以下、「第１コマンド」と称する）を、第１ユニット１００１の本体装置１０１から第２ユニット１００２に送る。あるいは、ＣＰＵ１１０は、第１コマンドを、本体装置１０１から表示装置１０２に送る。なお、以下においては、ＣＰＵ１１０が第１コマンドを第１ユニット１００１の本体装置１０１から第２ユニット１００２に送る場合を例に挙げて説明する。

ＣＰＵ１１０は、ヘッダＤＡ０１に、コマンドの種別（「０００」）、コマンドの送信先等を書き込む。ＣＰＵ１１０は、第１フィールドＤＡ０２に、番号が「１」のタイミングの値を書き込む。ＣＰＵ１１０は、第２フィールドＤＡ０３に、番号が「２」のデータ種別の値を書き込む。ＣＰＵ１１０は、第３フィールドＤＡ０４に、番号が「３」の読取方式の値を書き込む。ＣＰＵ１１０は、第４フィールドＤＡ０５に、番号が「４」の画像階調の値を書き込む。ＣＰＵ１１０は、第５フィールドＤＡ０６に、番号が「５」の解像度の値を書き込む。

第１フィールドＤＡ０２に「００」が設定された第１コマンドは、画像処理エンジン２８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第１コマンドは、当該第１コマンドを画像処理エンジン２８０が受信した後に、表示パネル２４０の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第１フィールドＤＡ０２に「０１」が設定された第１コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第１フィールドＤＡ０２に「１０」が設定された第１コマンドは、一定周期毎にスキャンデータの送信を要求する。

第２フィールドＤＡ０３に「００１」が設定された第１コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第２フィールドＤＡ０３に「０１０」が設定された第１コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第２フィールドＤＡ０３に「１００」が設定された第１コマンドは、全体画像の送信を要求する。

ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン２８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。

なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、表示パネル２４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。

第３フィールドＤＡ０４に「００」が設定されたセンシング第１コマンドは、バックライト２７９を点灯してスキャンすることを要求する。また、第３フィールドＤＡ０４に「０１」が設定された第１コマンドは、バックライト２７９を消灯してスキャンすることを要求する。なお、バックライト２７９を消灯してスキャンする構成については後述する（図１７）。さらに、第３フィールドＤＡ０４に「１０」が設定された第１コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト２７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。

第４フィールドＤＡ０５に「００」が設定された第１コマンドは、白黒の２値の画像データを要求する。また、第４フィールドＤＡ０５に「０１」が設定された第１コマンドは、多階調の画像データを要求する。さらに、第４フィールドＤＡ０５に「１０」が設定された第１コマンドは、ＲＧＢのカラーの画像データを要求する。

第５フィールドＤＡ０６に「０」が設定された第１コマンドは、解像度の高い画像データを要求する。また、第５フィールドＤＡ０６に「１」が設定された第１コマンドは、解像度の低い画像データを要求する。

また、上記第１コマンドには、図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。

なお、画像処理エンジン２８０は、第１コマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。

図９は、種別「００１」のコマンド（以下、「第２コマンド」と称する）を説明するための図である。ＣＰＵ１１０は、第２コマンドを、第１ユニット１００１の本体装置１０１から第２ユニット１００２に送る。

ＣＰＵ１１０は、ヘッダＤＡ０１に、コマンドの種別（「００１」）、コマンドの送信先等を書き込む。ＣＰＵ１１０は、第１フィールドＤＡ０２に、番号が「１」の表示要求の値を書き込む。ＣＰＵ１１０は、第２フィールドＤＡ０３に、番号が「２」の個数／種類に関する情報を書き込む。ＣＰＵ１１０は、第３フィールドＤＡ０４に、番号が「３」の表示範囲の値を書き込む。ＣＰＵ１１０は、第４フィールドＤＡ０５に、番号が「４」の画像データに関する情報を書き込む。

第１フィールドＤＡ０２に「００１」が設定された第２コマンドは、表示パネル２４０に画像を表示させることを画像処理エンジン２８０に対して要求する。また、第１フィールドＤＡ０２に「０１０」が設定された第２コマンドは、表示パネル２４０にアイコンを表示させることを画像処理エンジン２８０に対して要求する。さらに、第１フィールドＤＡ０２に「０１１」が設定された第２コマンドは、表示パネル２４０に手書領域を表示させることを画像処理エンジン２８０に対して要求する。

第２フィールドＤＡ０３には、表示パネル２４０に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン２８０は、当該画像の個数、または言語の種類に応じた処理を行う。

第３フィールドＤＡ０４に「０１」が設定された第２コマンドは、表示パネル２４０における表示範囲を座標にて指定することを、画像処理エンジン２８０に対して要求する。また、第３フィールドＤＡ０４に「１０」が設定された第２コマンドは、表示パネル２４０における表示範囲を表示領域の全体にすることを、画像処理エンジン２８０に対して要求する。

第４フィールドＤＡ０５には、表示パネル２４０に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン２８０は、当該位置情報で特定される位置に当該画像データを表示する処理を行う。

図１０は、種別「０１０」のコマンド（以下、「第３コマンド」と称する）を説明するための図である。ＣＰＵ１１０は、第３コマンドを、第１ユニット１００１の本体装置１０１から第２ユニット１００２に送る。あるいは、ＣＰＵ２１０は、第３コマンドを、第２ユニット１００２の本体装置１０４から第１ユニット１００１に送る。

ＣＰＵ１１０，２１０は、ヘッダＤＡ０１に、コマンドの種別（「０１０」）、コマンドの送信先等を書き込む。ＣＰＵ１１０，２１０は、第１フィールドＤＡ０２に、番号が「１」のＯＳ（Operating System）処理要求の値を書き込む。ＣＰＵ１１０，２１０は、第２フィールドＤＡ０３に、番号が「２」のＯＳ情報の値を書き込む。

第１フィールドＤＡ０２に「０１」または「１０」が設定された第３コマンドは、第２ユニット１００２から第１ユニット１００１に送信される。

第１フィールドＤＡ０２に「０１」が設定された第３コマンドは、第１ユニット１００１に対して、当該第１ユニット１００１のＯＳの種類を示した情報の送信を要求する。また、第１フィールドＤＡ０２に「１０」が設定された第３コマンドは、第１ユニット１００１に対して、ＯＳ情報にて指定されたＯＳの起動を要求する。

第２フィールドＤＡ０３に「０００」、「００１」、または「０１０」が設定された第３コマンドは、第２ユニット１００２から第１ユニット１００１に送信される。

第２フィールドＤＡ０３に「０００」が設定された第３コマンドは、第１ユニット１００１におけるＯＳの起動を要求しない。また、第２フィールドＤＡ０３に「００１」が設定された第３コマンドは、第２ユニット１００２が第１ＯＳの起動を選択したことを示す。さらに、第２フィールドＤＡ０３に「０１０」が設定された第３コマンドは、第２ユニット１００２が第２ＯＳの起動を選択したことを示す。

図１１は、種別「０１１」のコマンド（以下、「第４コマンド」と称する）を説明するための図である。ＣＰＵ２１０は、第４コマンドを、第２ユニット１００２の本体装置１０４から第１ユニット１００１に送る。

ＣＰＵ２１０は、ヘッダＤＡ０１に、コマンドの種別（「０１１」）、コマンドの送信先等を書き込む。ＣＰＵ２１０は、第１フィールドＤＡ０２に、番号が「１」の起動アプリに関する情報を書き込む。ＣＰＵ２１０は、第２フィールドＤＡ０３に、番号が「２」の起動時情報を書き込む。

第１フィールドＤＡ０２には、第１ユニット１００１において起動させるアプリを指定する情報が格納される。第２フィールドＤＡ０３には、起動設定時に用いる情報、および起動後に用いる情報が格納される。

図１２は、種別「１００」のコマンド（以下、「第５コマンド」と称する）を説明するための図である。ＣＰＵ２１０は、第５コマンドを、第２ユニット１００２の本体装置１０４から第１ユニット１００１に送る。

ＣＰＵ２１０は、ヘッダＤＡ０１に、コマンドの種別（「１００」）、コマンドの送信先等を書き込む。ＣＰＵ２１０は、第１フィールドＤＡ０２に、番号が「１」の受信要求に関する情報を書き込む。ＣＰＵ２１０は、第２フィールドＤＡ０３に、番号が「２」の個数に関する情報を書き込む。ＣＰＵ２１０は、第３フィールドＤＡ０４に、番号が「３」のファイルに関する情報を書き込む。

第１フィールドＤＡ０２に「０１」が設定された第５コマンドは、第１ユニット１００１に対してファイルの受信を要求する。また、第２フィールドＤＡ０３には、第２ユニット１００２が第１ユニット１００１に送信するファイルの個数が格納される。さらに、第３フィールドＤＡ０４には、第２ユニット１００２が第１ユニット１００１に送信するファイルが格納される。

図１３は、種別「１０１」のコマンド（以下、「第６コマンド」と称する）を説明するための図である。ＣＰＵ１１０は、第６コマンドを、第１ユニット１００１の本体装置１０１から第２ユニット１００２に送る。あるいは、ＣＰＵ２１０は、第６コマンドを、第２ユニット１００２の本体装置１０４から第１ユニット１００１に送る。

ＣＰＵ１１０，２１０は、ヘッダＤＡ０１に、コマンドの種別（「１０１」）、コマンドの送信先等を書き込む。ＣＰＵ１１０，２１０は、第１フィールドＤＡ０２に、番号が「１」の通信種別の値を書き込む。ＣＰＵ１１０，２１０は、第２フィールドＤＡ０３に、番号が「２」の接続先の値を書き込む。ＣＰＵ１１０，２１０は、第３フィールドＤＡ０４に、番号が「３」の転送先の値を書き込む。ＣＰＵ１１０，２１０は、第４フィールドＤＡ０５に、番号が「４」の信号強度の取得タイミングの値を書き込む。

第１フィールドＤＡ０２に「００１」が設定された第６コマンドは、相手側の装置に対して赤外線通信を行うことを要求する。また、第１フィールドＤＡ０２に「０１０」が設定された第６コマンドは、相手側の装置に対してＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行うことを要求する。さらに、第１フィールドＤＡ０２に「０１１」が設定された第６コマンドは、相手側の装置に対してＬＡＮ通信を行うことを要求する。

第２フィールドＤＡ０３に「０００」が設定された第６コマンドは、通信の接続先を指定する情報を有していないことを示す。

また、第２フィールドＤＡ０３に「００１」が設定された第６コマンドは、第１ユニット１００１によって、当該第１ユニット１００１の接続先の装置に送信される。そのような第６コマンドは、第１ユニット１００１が接続する装置に関する情報の送信を要求する。

さらに、第２フィールドＤＡ０３に「０１０」が設定された第６コマンドは、第２ユニット１００２によって、当該第２ユニット１００２の接続先の第１ユニット１００１に送信される。そのような第６コマンドは、第２ユニット１００２が接続する第１ユニット１００１に関する情報の送信を要求する。

また、第２フィールドＤＡ０３に「０１１」が設定された第６コマンドは、第２ユニット１００２によって、当該第２ユニット１００２の接続先の第１ユニット１００１に送信される。そのような第６コマンドは、第２ユニット１００２に関する情報を接続先の機器情報として設定することを要求する。

さらに、第２フィールドＤＡ０３に「１００」が設定された第６コマンドは、第１ユニット１００１によって、当該第１ユニット１００１の接続先の装置（たとえば、第２ユニット１００２）に送信される。そのような第６コマンドは、第１ユニット１００１に関する情報を接続先の機器情報として設定することを要求する。

第３フィールドＤＡ０４に「０００」が設定された第６コマンドは、データ（たとえば、ファイル）の転送先を指定する情報を有していないことを示す。

また、第３フィールドＤＡ０４に「００１」が設定された第６コマンドは、第１ユニット１００１によって、データ転送先の装置に送信される。そのような第６コマンドは、データ転送先の装置に関する情報の送信を要求する。

さらに、第３フィールドＤＡ０４に「０１０」が設定された第６コマンドは、第２ユニット１００２によって、データ転送先の第１ユニット１００１に送信される。そのような第６コマンドは、データ転送先の第１ユニット１００１に関する情報の送信を要求する。

また、第３フィールドＤＡ０４に「０１１」が設定された第６コマンドは、第２ユニット１００２によって、データ転送先の第１ユニット１００１に送信される。そのような第６コマンドは、第２ユニット１００２に関する情報をデータ転送元の機器情報として設定することを要求する。

さらに、第３フィールドＤＡ０４に「１００」が設定された第６コマンドは、第１ユニット１００１によって、データ転送先の装置（たとえば、第２ユニット１００２）に送信される。そのような第６コマンドは、第１ユニット１００１に関する情報をデータ転送元の機器情報として設定することを要求する。

第４フィールドＤＡ０５に「００」、「０１」、「１０」、または「１１」が設定された第６コマンドは、第１ユニット１００１によって、第２ユニット１００２に送信される。

第４フィールドＤＡ０５に「００」が設定された第６コマンドは、第２ユニット１００２に対して、信号強度を示したデータの送信を要求しない。また、第４フィールドＤＡ０５に「０１」が設定された第６コマンドは、信号強度検出部２９７に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第４フィールドＤＡ０５に「１０」が設定された第６コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第４フィールドＤＡ０５に「１１」が設定された第６コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。

図１４は、応答データの概略構成を示した図である。応答データは、第１コマンド（センシングコマンド）の内容に応じたデータである。

第１コマンドが本体装置１０１から第２ユニット１００２に送信された場合、ＣＰＵ２１０は、応答データを、表示装置１０３から第１ユニット１００１に送信する。また、第１コマンドが本体装置１０１から第１ユニット１００１の表示装置１０２に送信された場合、画像処理エンジン１８０は、応答データを、画像処理エンジン１８０から本体装置１０１に送信する。なお、以下では、第１コマンドが本体装置１０１から第２ユニット１００２に送信された場合を例に挙げて説明する。

図１４を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン２８０のタイマ２８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン２８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。

図１５は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１５を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。

本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。

また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。

ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。

第１コマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン２８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン２８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン２８０は、上記中心座標の値の書き込みを行った後、当該中心座標の値を含む応答データを本体装置１０４に送る。本体装置１０４は、当該中心座標の値を含む応答データを第１ユニット１００１の本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、第１コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。

また、第１コマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン２８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン２８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン２８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行った後、当該部分画像の画像データを含む応答データを本体装置１０４に送る。本体装置１０４は、当該部分画像の画像データを含む応答データを第１ユニット１００１の本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、第１コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。

なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。

また、第１コマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン２８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン２８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０４に送る。本体装置１０４は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第１ユニット１００１の本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、第１コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。

また、第１コマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン２８０は、図１４に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン２８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン２８０は、上記全体画像の画像データの書き込みを行った後、当該全体画像の画像データを含む応答データを本体装置１０４に送る。本体装置１０４は、当該全体画像の画像データを含む応答データを第１ユニット１００１の本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、第１コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。

また、第１コマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン２８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン２８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０４に送る。本体装置１０４は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第１ユニット１００１の本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、第１コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。

＜構成の第１の変形例について＞
次に、図１６を参照して、前述のスキャンの方法（つまり、図６における反射像をスキャンする方法）とは異なるスキャンの方法について説明する。

図１６は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している表示パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。

ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、表示パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、表示パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、表示パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。

さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。

この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。

＜表示装置について＞
表示装置１０３の動作は、表示装置１０２の動作と同様、本体装置１０１からのコマンド（たとえば、第１コマンド）に応じて制御される。表示装置１０３は表示装置１０２と同様な構成を有する。それゆえ、表示装置１０３が表示装置１０２と同じコマンドを本体装置１０１から受け付けた場合、表示装置１０３は表示装置１０２と同様の動作を行う。このため、表示装置１０３の構成や動作についての説明は繰り返さない。

なお、本体装置１０１は、表示装置１０２と表示装置１０３とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置１０２と表示装置１０３とは別々の動作を行う。また、本体装置１０１は、表示装置１０２および表示装置１０３のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置１０１が、表示装置１０２と表示装置１０３とに命令が同じコマンドを送ってもよい。この場合、表示装置１０２と表示装置１０３とは、同じ動作を行う。

なお、表示装置１０２の表示パネル１４０のサイズと表示装置１０３の表示パネル２４０のサイズとは、同じであってもよいし又は異なっていてもよい。また、表示パネル１４０の解像度と表示パネル２４０の解像度とは、同じであってもよいし又は異なっていてもよい。

＜構成の第２の変形例について＞
本実施の形態では、電子機器１００が、光センサを内蔵した第１の表示パネル１４０と光センサを内蔵した第２の表示パネル２４０とを備えているが、前述したように、第２の表示パネル２４０のみがタブレットや光センサを内蔵している構成であってもよい。

図１７は、電子機器１３００のハードウェア構成を表すブロック図である。電子機器１３００は、電子機器１００と同様、第１の筐体１００Ａと、第２の筐体１００Ｂとを含む。また、図１７を参照して、電子機器１３００は、第１ユニット１００１Ａと、第２ユニット１００２とを含む。第１ユニット１００１Ａは、本体装置１０１と、表示装置１０２Ａとを含む。第２ユニット１００２は、本体装置１０４と、表示装置１０３とを含む。

表示装置１０２Ａは、光センサを内蔵しない表示パネル（つまり、表示機能のみを有する表示パネル）である。電子機器１３００は、第１ユニット１００１Ａが光センサを内蔵しない表示パネルを含む点で、第１ユニット１００１が光センサを内蔵した表示パネル２４０を含む電子機器１００と異なる。このような電子機器１３００は、第２ユニット１００２の表示装置１０３を用いて上述したセンシングを行う。

また、第１ユニット１００１は、光センサを内蔵した表示パネル１４０の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。

また、本実施の形態では、表示装置１０２がタイマ１８２を備え、表示装置１０３がタイマ２８２を備える構成として説明するが、表示装置１０２と表示装置１０３とが１つのタイマを共有する構成としてもよい。

また、本実施の形態では、電子機器１００を折畳型の機器として説明するが、電子機器１００は必ずしも折畳型に限定されるものではない。たとえば、電子機器１００は、第１の筐体１００Ａが第２の筐体１００Ｂに対してスライドする構成のスライド式の機器であってもよい。

本実施の形態に係る電子機器１００は、上記のように構成されているため、第２ユニット１００２が、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１に着脱自在になっている。

そして、本実施の形態に係る電子機器１００は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第１ユニット１００１の電源スイッチ１９１を押下すると、第１ユニット１００１は電源回路１９２からの電力を利用することによってＢＩＯＳ（Basic Input/Output System）を起動させる。

第２ユニット１００２は、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１から電力を取得する。第２ユニット１００２は、当該電力を利用することによって、第１ユニット１００１との間でデータを送受信することができる。このとき、第２ユニット１００２のＣＰＵ２１０は、ＵＳＢコネクタ１９４，２９４からの電力を使用することによって、表示パネル２４０にＯＳ（Operation System）の種類を選択可能に表示させることができる。

ユーザは、表示パネル２４０を介して、起動したいＯＳを選択する。ＣＰＵ２１０は、ユーザの選択に応じ、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１へと、起動すべきＯＳを指定するコマンド（たとえば、図１０に示す「第１のＯＳ」コマンド）を送信する。第１ユニット１００１は、当該コマンドに応じて、ＯＳを起動する。

また、たとえば、第２ユニット１００２は、アンテナ２９５を介して外部の携帯電話などとの間でデータの送受信を行う。第２ユニット１００２のＣＰＵ２１０は、アンテナ２９５を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをＲＡＭ２７１などに格納する。ＣＰＵ２１０は、ＲＡＭ２７１からサムネイルデータを読み出して、表示パネル２４０に写真のサムネイル画像を選択可能に表示させる。

そして、外部からの選択命令に応じて、ＣＰＵ２１０は、表示パネル２４０に写真画像を表示させる。あるいは、ＣＰＵ２１０は、ＵＳＢコネクタ２９４を介して、写真画像を表示パネル１４０あるいは表示装置１０２Ａに表示させる。

なお、上述したように、電子機器１００の第２の表示パネル２４０は、タブレット機能と表示機能とを有する通常のタッチパネルであってもよい。

＜本実施の形態に係る電子機器１００の機能構成＞
以下では、図１、図２、図１８を参照して、本実施の形態に係る電子機器１００（１３００）の機能構成について説明する。なお、図１８は、本実施の形態に係る電子機器１００（１３００）の機能構成を示すブロック図である。

本実施の形態に係る電子機器１００は、第１の表示制御部１１１と、第１の受付部１１２と、取得部１１３と、第２の受付部１１４と、認識部１１５と、第２の表示制御部１１６とを含む。また、電子機器１００は、図２にも示したように、ＲＡＭ１７１と、第１の表示パネル１４０（あるいは表示装置１０２Ａ）と、複数の光センサ回路２４４および複数の画素回路２４１とを含む第２の表示パネル２４０とを含む。

まず、ＲＡＭ１７１は、手書き情報から文字を認識するための文字データベース１７１Ａや、ワープロデータやＨＴＭＬデータなどのテキストデータ１７１Ｂなどを記憶する。より詳細には、たとえば、文字データベース１７１Ａは、形状データの各々を、文字を特定するための文字コード（識別情報）に対応付けて格納する。テキストデータ１７１Ｂは、テキストを構成する文字それぞれの文字コードを含む。そして、各文字（各文字コード）が文字の言語の種類や文字サイズなどの属性を含んでもよいし、テキストデータ１７１Ｂがエリア毎に文字の言語の種類や文字サイズなどの属性を含んでもよい。

また、ＲＡＭ１７１の文字データベース１７１Ａは、日本語の平仮名文字と片仮名文字の対応関係や、英語の大文字と小文字の対応関係や、中国語の繁体字（Traditional Chinese）と簡体字（Simplified Chinese）の対応関係を格納する。また、ＲＡＭ１７１の文字データベース１７１Ａは、英語の大文字「Ｃ」と英語の小文字「ｃ」や日本語の大文字「あ」と日本語の小文字「ぁ」などのような、「同じ形状を持つ大きさの異なる文字」のそれぞれを特定する文字コードを互いに対応付けて格納する。

第１の表示パネル１４０は、第１の表示制御部１１１からの画像データやテキストデータに基づいて、すなわちＣＰＵ１１０からの出力信号に基づいて外部に可視光を発する。より詳細には、第１の表示パネル１４０は、画像処理エンジン１８０（図２）などを介して、第１の表示制御部１１１からの画像データやテキストデータに基づいて、バックライト１７９からの光を利用しながらテキストや画像などのコンテンツを表示する。

第２の表示パネル２４０の複数の光センサ回路２４４のそれぞれは、入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路２４４は全体として、画像処理エンジン２８０（図２）などを介して、入射光に対応する電気信号を第１の受付部１１２や第２の受付部１１４に入力する。なお、複数の光センサ回路２４４は、図１６に示すようにバックライト１７９を消灯させた状態で、指９００やスタイラスペンなどの接触位置を読み取ってもよい。

このように、本実施の形態に係る複数の光センサ回路２４４および画像処理エンジン２８０は全体として操作部を実現する。そして、操作部は、第２の表示パネル２４０を介して、手書き入力を受け付ける。

第２の表示パネル２４０の複数の画素回路２４１のそれぞれは、第２の表示制御部１１６からの画像データやテキストデータに基づいて、すなわちＣＰＵ１１０からの出力信号に基づいて外部に可視光を発する。より詳細には、複数の画素回路２４１は全体として、画像処理エンジン２８０（図２）などを介して、第２の表示制御部１１６からの画像データやテキストデータに基づいて、バックライト１７９からの光を利用しながら手書き入力に対応する手書き画像やテキストなどのコンテンツを表示する。

このように、本実施の形態に係る複数の画素回路２４１および画像処理エンジン２８０は全体として表示部を実現する。すなわち、表示部は、第２の表示パネル２４０に操作画像やその他の画像やテキストなどを表示させる。

第１の表示制御部１１１と、第１の受付部１１２と、取得部１１３と、第２の受付部１１４と、認識部１１５と、第２の表示制御部１１６とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。

まず、第１の表示制御部１１１は、ＲＡＭ１７１からテキストデータ１７１Ｂを読み出して、第１の表示パネル１４０にテキストを表示させる。たとえば、第１の表示制御部１１１は、ＣＰＵ１１０とワープロ用のアプリケーションあるいはＷｅｂブラウザなどによって実現されるものであって、第１の表示パネル１４０に日本語や英語や中国語のテキストを表示させる。

第１の受付部１１２は、操作キー１７７からの電気信号あるいは複数の光センサ回路２４４から画像処理エンジン２８０を介して入力される電気信号に基づいて、操作キー１７７や第２の表示パネル２４０に入力されたエリア指定命令を受け付ける。たとえば、ユーザが操作キー１７７に含まれる十字キーやＳｈｉｆｔキーなどを操作することによって、第１の受付部１１２が複数の文字を含む領域の指定を受け付ける。

あるいは、第１の受付部１１２は、センシング時間毎に第２の表示パネル２４０の画像処理エンジン２８０から出力される画像データを取得して、当該画像データに基づいてユーザからのポインタ移動命令を生成する。換言すれば、ユーザが第２の表示パネル２４０を介してポインタを所望の位置へと移動させ、Ｓｈｉｆｔキーを押しながらポインタを移動させることによって、第１の受付部１１２が領域の指定を受け付ける。

そして、第１の受付部１１２は、画像処理エンジン２８０から出力された画像データをＲＡＭ１７１に記憶してもよい。すなわち、第１の受付部１１２は、ＲＡＭ１７１の画像データを常時最新の画像データに更新してもよい。なお、第１の受付部１１２は、ＣＰＵ１１０，２１０やＲＡＭ１７１，２７１や第２の表示パネル２４０の複数の光センサ回路２４４などによって実現される機能であってもよい。すなわち、第１の受付部１１２は、ＣＰＵ１１０，２１０やＲＡＭ１７１，２７１などの一部の機能と第２の表示パネル２４０の受光機能とを含む機能ブロックを示す概念であってもよい。

このようにして、第１の受付部１１２は、第１の表示パネル１４０に表示されているテキストのなかから、ユーザが所望する文字領域の指定を受け付ける。

なお、予め指定領域に含まれる文字数が設定されていてもよい。すなわち、文字領域を指定するための指定枠１４０Ａの大きさが設定されていてもよい。この場合には、ユーザが操作キー１７７の十字キーを操作することによって、第１の受付部１１２がテキスト中の文字領域の指定を受け付ける。

取得部１１３は、テキストデータ１７１Ｂに基づいて、指定領域に含まれる文字の属性を取得する。文字の属性とは、文字の言語の種類や文字のフォントや文字のサイズなどを含む。たとえば、テキストデータ１７１Ｂに含まれる文字コードが言語の種類を示す情報を含む場合においては、取得部１１３はテキストデータ１７１Ｂから指定領域に含まれる文字の文字コードを取得して、当該文字コードに基づいて指定領域に含まれる文字の言語の種類を取得する。

あるいは、テキストデータ１７１ＢがＨＴＭＬ（HyperText Markup Language）などのマークアップ言語である場合、取得部１１３は、テキストデータ１７１Ｂのタグなどに基づいて、指定領域内の文字に対して設定されている表示言語の種類や文字の表示サイズなどを取得してもよい。

あるいは、テキストデータ１７１ＢがＷｅｂページデータである場合、取得部１１３は、Ｗｅｂページの取得元アドレスに基づいて表示言語の種類を判断してもよい。より詳細には、取得部１１３は、Ｗｅｂページアドレスのドメインコードに基づいて、アドレスに「.jp.」が含まれていれば日本語であると判断し、アドレスに「.cn.」が含まれていれば中国語であると判断する。たとえば、国別のホームページを有する国際的な検索サイトの国別アドレスや国別のホームページ内のテキストなどをＲＡＭ１７１に記憶しておき、取得部１１３が閲覧中のＷｅｂページのアドレスや表示されるテキストに基づいて言語を判断する。

第２の受付部１１４は、複数の光センサ回路２４４から画像処理エンジン２８０を介して入力される電気信号に基づいて、第２の表示パネル２４０に入力された手書き入力を受け付ける。たとえば、第２の受付部１１４は、センシング時間毎に第２の表示パネル２４０の画像処理エンジン２８０から出力される画像データを取得して、当該画像データに基づいて手書き画像を示す手書き情報を生成する。

そして、第２の受付部１１４は、画像処理エンジン２８０から出力された画像データをＲＡＭ１７１に記憶してもよい。すなわち、第２の受付部１１４は、ＲＡＭ１７１の画像データを常時最新の画像データに更新してもよい。なお、第２の受付部１１４は、ＣＰＵ１１０，２１０やＲＡＭ１７１，２７１や第２の表示パネル２４０の複数の光センサ回路２４４などによって実現される機能であってもよい。すなわち、第１の受付部１１２は、ＣＰＵ１１０，２１０やＲＡＭ１７１，２７１などの一部の機能と第２の表示パネル２４０の受光機能とを含む機能ブロックを示す概念であってもよい。

認識部１１５は、指定領域内の文字に設定されている属性（たとえば言語の種類や表示サイズ）に基づいて、手書き入力に対応する文字を認識する。より詳細には、認識部１１５は、第２の受付部１１４から手書き情報（手書き画像）を取得する。認識部１１５は、文字データベース１７１Ａを参照することによって、手書き情報と文字の形状データとに基づき手書き画像と文字の形状とのマッチング処理を行う。

本実施の形態に係る認識部１１５は、取得部１１３から指定領域内の文字の属性を取得する。認識部１１５は、文字の属性に基づいて、文字データベース１７１Ａから当該属性に適合する文字の形状データを読み出して、マッチング処理を行う。すなわち、認識部１１５は、当該属性に対応する文字コードの中から手書き入力に適合する文字コードを取得することによって、手書き入力された文字を認識する。これによって、文字の属性が異なる文字の形状データを読み出したり、マッチング処理を行ったりする必要がなくなり、文字の認識精度の向上や文字の認識時間の低減が図れる。

また、認識部１１５は、認識された文字のサイズを取得する。このとき、認識部１１５は、第２の表示パネル２４０に表示されている文字のサイズに対する手書き入力された（認識された）文字のサイズの割合を取得する。

あるいは、ＲＡＭ１７１が、第２の表示パネル２４０に表示されている文字の個数、すなわち指定領域に含まれる文字の個数に対応付けて所定サイズを記憶する。この場合、認識部１１５は、ＲＡＭ１７１から、指定領域に含まれる文字の個数に対応する所定サイズを取得する。

第２の表示制御部１１６は、第２の表示パネル１４０に、指定領域に含まれる文字を表示させる。すなわち、ユーザが電子機器１００に領域指定命令を入力すると、第２の表示制御部１１６はテキストデータ１７１Ｂに基づいて、指定領域に含まれる文字を第２の表示パネル２４０に表示させる。

第２の表示制御部１１６は、第２の受付部１１４が受け付けた手書き入力に基づいて、第２の表示パネル２４０に手書き画像を表示させる。より詳細には、第２の表示制御部１１６は、第２の受付部１１４が生成した手書き情報に基づいて、画素回路２４１に出力信号を出力することによって、第２の表示パネル２４０に手書き入力に対応する手書き画像を表示させる。

第２の表示制御部１１６は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合に、認識された文字を第２の表示パネル２４０に表示されている文字と同じサイズにて第２の表示パネル２４０に表示させる。一方、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合に、認識された文字を第２の表示パネル２４０に表示されている文字の半分のサイズにて第２の表示パネル２４０に表示させる。

ただし、第２の表示制御部１１６は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、大文字（たとえば「Ｃ」や「あ」など）を第２の表示パネル２４０に表示させてもよい。そして、第２の表示制御部１１６は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識された文字に対応する小文字（たとえば「ｃ」や「ぁ」など）を第２の表示パネル２４０に表示させてもよい。

このようにして、第２の表示制御部１１６は、認識された文字のサイズと第２の表示パネル２４０に表示されている文字のサイズとに基づいて、認識された文字と同じ形状を持つ大きさの異なる文字（たとえば、「Ｃ」と「ｃ」など）のいずれかを第２の表示パネル２４０に表示させる。

あるいは、第２の表示制御部１１６は、認識された文字のサイズが、指定領域に含まれる文字の個数に対応する所定サイズ以上である場合に、認識された文字を第２の表示パネル２４０に表示されている文字と同じサイズにて第２の表示パネル２４０に表示させる。一方、第２の表示制御部１１６は、認識された文字のサイズが、指定領域に含まれる文字の個数に対応する所定サイズ未満である場合に、認識された文字を第２の表示パネル２４０に表示されている文字の半分のサイズにて第２の表示パネル２４０に表示させる。

ただし、第２の表示制御部１１６は、認識された文字のサイズが指定領域に含まれる文字の個数に対応する所定サイズ以上である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、大文字（たとえば「Ｃ」や「あ」など）を第２の表示パネル２４０に表示させてもよい。そして、第２の表示制御部１１６は、認識された文字のサイズが指定領域に含まれる文字の個数に対応する所定サイズ未満である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識された文字に対応する小文字（たとえば「ｃ」や「ぁ」など）を第２の表示パネル２４０に表示させてもよい。

このようにして、第２の表示制御部１１６は、認識された文字のサイズと指定領域に含まれる文字の個数とに基づいて、認識された文字と同じ形状を持つ大きさの異なる文字（たとえば、「Ｃ」と「ｃ」など）のいずれかを第２の表示パネル２４０に表示させる。

本実施の形態に係る電子機器１００は、第２の表示パネル２４０を介してユーザからの手書き入力を受け付ける構成としている。しかしながら、第１の表示パネル１４０が光センサ内臓液晶パネル（あるいはタッチパネル）の場合、第２の受付部１１４は、第１の表示パネル１４０の光センサ回路１４４を介して、ユーザからの手書き入力を受け付けてもよい。すなわち、第２の受付部１１４は、第１の表示パネル１４０を介して手書き入力を受け付けてもよい。この場合には、電子機器１００は、第１の表示パネル１４０の光センサ回路１４４を介して領域指定命令を受け付けてもよい。

そして、第１の表示制御部１１１は、認識部１１５が認識した文字を、取得部１１３が取得した属性に基づいて表示させる。そして、第１の表示制御部１１１あるいは認識部１１５は、認識した文字（文字コード）をテキストデータ１７１Ｂや他のアプリケーションプログラムなどに反映させる。

また、第１の表示制御部１１１は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合に、認識された文字を第１の表示パネル１４０に表示されている文字のサイズにて第１の表示パネル１４０に表示させる。一方、第１の表示制御部１１１は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合に、認識された文字を第１の表示パネル１４０に表示されている文字の半分のサイズにて第１の表示パネル１４０に表示させる。

ただし、第１の表示制御部１１１は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、大文字（たとえば「Ｃ」や「あ」など）を第１の表示パネル１４０に表示させてもよい。そして、第１の表示制御部１１１は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識された文字に対応する小文字（たとえば「ｃ」や「ぁ」など）を第１の表示パネル１４０に表示させてもよい。

このようにして、第１の表示制御部１１１は、認識された文字のサイズと第２の表示パネル２４０に表示されている文字のサイズとに基づいて、認識された文字と同じ形状を持つ大きさの異なる文字（たとえば、「Ｃ」と「ｃ」など）のいずれかを第１の表示パネル１４０に表示させる。

あるいは、第１の表示制御部１１１は、認識された文字のサイズが、指定領域に含まれる文字の個数に対応する所定サイズ以上である場合に、認識された文字を第１の表示パネル１４０に表示されている文字のサイズにて第１の表示パネル１４０に表示させる。一方、第１の表示制御部１１１は、認識された文字のサイズが、指定領域に含まれる文字の個数に対応する所定サイズ未満である場合に、認識された文字を第１の表示パネル１４０に表示されている文字の半分のサイズにて第１の表示パネル１４０に表示させる。

ただし、第１の表示制御部１１１は、認識された文字のサイズが指定領域に含まれる文字の個数に対応する所定サイズ以上である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、大文字（たとえば「Ｃ」や「あ」など）を第１の表示パネル１４０に表示させてもよい。そして、第１の表示制御部１１１は、認識された文字のサイズが指定領域に含まれる文字の個数に対応する所定サイズ未満である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識された文字に対応する小文字（たとえば「ｃ」や「ぁ」など）を第１の表示パネル１４０に表示させてもよい。

このようにして、第１の表示制御部１１１は、認識された文字のサイズと指定領域に含まれる文字の個数とに基づいて、認識された文字と同じ形状を持つ大きさの異なる文字（たとえば、「Ｃ」と「ｃ」など）のいずれかを第１の表示パネル１４０に表示させる。

また、第１の表示制御部１１１は、手書き入力として受け付けるべき文字の種類を指定してもよい。たとえば、第１の表示制御部１１１は、ＨＴＭＬデータなどに基づいて第１の表示パネル１４０にテキストの入力フォーム（図２０における文字の入力枠１４０Ｃ）を表示させる。このとき、第１の表示制御部１１１は、ＨＴＭＬデータに基づいて、文字の入力枠１４０Ｃに入力すべき文字の種類の指定を受け付ける。すなわち、第１の表示制御部１１１は、日本語の片仮名あるいは平仮名あるいは漢字のみの入力指定を受け付けたり、英語の大文字あるいは小文字のみの入力指定を受け付けたり、中国語の繁体字あるいは簡体字のみの入力指定を受け付けたりする。

第１の表示制御部１１１は、認識部１１５が認識した文字が指定されている文字の種類に適合していない場合に、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識した文字に対応する同一言語（第１の属性）の文字のうち、指定されている文字の種類（第２の属性）に適合する文字を読み出して、第１の表示パネル１４０に表示させる。あるいは、第１の表示制御部１１１は、認識部１１５が認識した文字が指定されている文字の種類に適合していない場合に、第１の表示パネル１４０あるいは第２の表示パネル２４０に警告を表示させる。

以下、これらの機能ブロックを利用した文字の認識機能について説明する。図１９は、文字認識機能を示すための第２の表示パネル２４０の画面推移を示すイメージ図である。図１９（Ａ）に示すように、第２の表示制御部１１６は、第１の表示パネル１４０が表示しているテキスト内の指定領域に含まれる文字を第２の表示パネル２４０に表示させる。図１９（Ｂ）に示すように、ユーザが第２の表示パネル２４０の一部のエリアを指９００でなぞる（こする）ことによって、第２の受付部１１４が当該第２の表示パネル２４０の当該一部のエリアに表示されている文字の消去命令を受け付ける。図１９（Ｃ）に示すように、第２の表示制御部１１６は、当該第２の表示パネル２４０の一部のエリア２４０Ｂに表示されている文字を消去する。

図１９（Ｄ）に示すように、ユーザがスタイラスペン９９を用いて第２の表示パネル２４０に文字を手書き入力する。すなわち、第２の受付部１１４は、第２の表示パネル２４０を介してユーザから手書き入力を受け付けて、第２の表示制御部１１６は手書き入力に対応する手書き画像を表示する。取得部１１３は、指定領域内の文字の言語の種類を取得する。

認識部１１５は、言語の種類に基づいて、手書き入力された文字を認識する。図１９（Ｅ）に示すように、第２の表示制御部１１６は第２の表示パネル２４０に認識した文字を表示する。そして、第１の表示制御部１１１は、ユーザからの決定命令に応じて、認識した文字を第１の表示パネル１４０の指定領域に表示する。すなわち、第１の表示制御部１１１は、認識した文字をテキストデータ１７１Ｂに反映させる。

図２０は、入力文字の種類が指定されている場合の文字認識機能を示す第１のイメージ図である。図２１は、入力文字の種類が指定されている場合の文字認識機能を示す第２のイメージ図である。ここでは、全角片仮名の入力が指定されている場合について説明する。

図２０（Ａ）および図２１（Ａ）に示すように、第１の表示制御部１１１は、第１の表示パネル１４０を介して、全角片仮名の入力が指定されていることを外部に表示する。取得部１１３は、ＨＴＭＬデータなどのテキストデータ１７１Ｂに基づいて、指定領域（手書き文字の入力領域）の文字の言語（第１の属性）として日本語を取得する。そして、取得部１１３は、ＨＴＭＬデータなどのテキストデータ１７１Ｂに基づいて、指定領域の文字の種類（第２の属性）として片仮名を取得する。

第２の受付部１１４が手書き入力を受け付けると、認識部１１５が日本語（第１の属性）の文字の中から手書き入力に対応する文字を選択する。ここでは、図２０（Ｂ）に示すように、認識部１１５が手書き入力された平仮名文字を認識し、第２の表示制御部１１６が認識された平仮名文字を第２の表示パネル２４０に表示する。第１の表示制御部１１１は、第１の表示制御部１１１は、認識部１１５が認識した平仮名文字が指定されている片仮名文字（第２の属性）に適合していないため、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識した平仮名文字に対応する片仮名文字を読み出して、第１の表示パネル１４０の入力枠１４０Ｃに表示させる。

あるいは、第２の受付部１１４が手書き入力を受け付ける際に、認識部１１５が日本語（第１の属性）の片仮名文字（第２の属性）の中から手書き入力に対応する文字を選択する。ここでは、図２１（Ｂ）に示すように、認識部１１５が手書き入力された文字が片仮名文字でないことを認識し、第２の表示制御部１１６が手書き入力が認識できないことを表示する。第１の表示制御部１１１は、認識部１１５が認識した平仮名文字が指定されている片仮名文字に適合していないため、第２の表示パネル１４０に警告を表示させる。

図２２は、指定領域に３つの文字が含まれている場合に大きい文字が手書き入力された状態における文字認識機能を示すイメージ図である。図２２（Ａ）に示すように、ユーザが第２の表示パネル２４０を介して大きい文字を手書き入力すると、認識部１１５は手書き入力に基づいて文字を認識する。このとき、取得部１１３は、テキストデータ１７１Ｂに基づいて、指定領域内の文字の属性（サイズなど）や文字の個数などを取得する。認識部１１５は、認識された文字のサイズを取得することによって、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合を取得する。あるいは、認識部１１５は、ＲＡＭ１７１から、指定領域に含まれる文字の個数（３つ）に対応する所定サイズを取得する。

図２２（Ｂ）に示すように、第２の表示制御部１１６は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合、認識された文字を第２の表示パネル２４０に表示されている文字と同じサイズにて第２の表示パネル２４０に表示させる。その後、第１の表示制御部１１１は、認識された文字を第１の表示パネル１４０に表示されている文字のサイズにて第１の表示パネル１４０に表示させる。

ただし、第１および第２の表示制御部１１１，１１６のそれぞれは、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）以上である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、大文字（たとえば「Ｃ」や「あ」など）を第１および第２の表示パネル１４０，２４０に表示させてもよい。そして、第１および第２の表示制御部１１１，１１６のそれぞれは、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合、ＲＡＭ１７１の文字データベース１７１Ａを参照して、認識された文字に対応する小文字（たとえば「ｃ」や「ぁ」など）を第１および第２の表示パネル１４０，２４０に表示させてもよい。

このようにして、第１および第２の表示制御部１１１，１１６のそれぞれは、認識された文字のサイズと第２の表示パネル２４０に表示されている文字のサイズとに基づいて、認識された文字と同じ形状を持つ大きさの異なる文字（たとえば、「Ｃ」と「ｃ」など）のいずれかを第１および第２の表示パネル１４０，２４０に表示させる。

図２３は、指定領域に３つの文字が含まれている場合に小さい文字が手書き入力された状態における文字認識機能を示すイメージ図である。図２３（Ａ）に示すように、ユーザが第２の表示パネル２４０を介して小さい文字を手書き入力すると、認識部１１５は手書き入力に基づいて文字を認識する。このとき、取得部１１３は、指定領域内の文字の属性（サイズなど）や文字の個数などを取得する。認識部１１５は、認識された文字のサイズを取得することによって、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合を取得する。あるいは、認識部１１５は、ＲＡＭ１７１から、指定領域に含まれる文字の個数（３つ）に対応する所定サイズを取得する。

図２３（Ｂ）に示すように、第２の表示制御部１１６は、第２の表示パネル２４０に表示されている文字のサイズに対する認識された文字のサイズの割合が所定値（たとえば０．７）未満である場合、認識された文字を第２の表示パネル２４０に表示されている文字よりも小さいサイズ（たとえば、第２の表示パネル２４０に表示されている文字の０．７倍のサイズ）にて第２の表示パネル２４０に表示させる。その後、第１の表示制御部１１１は、認識された文字を第１の表示パネル１４０に表示されている文字の０．７倍のサイズにて第１の表示パネル１４０に表示させる。

図２４は、指定領域に５つの文字が含まれている場合に大きい文字が手書き入力された状態における文字認識機能を示すイメージ図である。図２４（Ａ）に示すように、ユーザが第２の表示パネル２４０を介して大きい文字を手書き入力すると、認識部１１５は手書き入力に基づいて文字を認識する。このとき、取得部１１３は、指定領域内の文字の属性（サイズなど）や文字の個数などを取得する。認識部１１５は、ＲＡＭ１７１から、指定領域に含まれる文字の個数（５つ）に対応する所定サイズを取得する。そして、認識部１１５は、認識された文字のサイズを取得することによって、文字のサイズが所定サイズ以上であるか否かを判断する。

図２４（Ｂ）に示すように、第２の表示制御部１１６は、文字のサイズが所定サイズ以上である場合、認識された文字を第２の表示パネル２４０に表示されている文字のサイズにて第２の表示パネル２４０に表示させる。その後、第１の表示制御部１１１は、認識された文字を第１の表示パネル１４０に表示されている文字のサイズにて第１の表示パネル１４０に表示させる。

第２の表示制御部１１６は、文字のサイズが所定サイズ未満である場合、認識された文字を第２の表示パネル２４０に表示されている文字の０．７倍のサイズにて第２の表示パネル２４０に表示させる。その後、第１の表示制御部１１１は、認識された文字を第１の表示パネル１４０に表示されている文字のサイズの０．７倍のサイズにて第１の表示パネル１４０に表示させる。

＜本実施の形態に係る文字認識処理＞
次に、図１、図２、図１８、図２５を参照して、本実施の形態に係る電子機器１００における文字認識処理について説明する。なお、図２５は、本実施の形態に係る電子機器１００における文字認識処理の処理手順を示すイメージ図である。以下では、ＲＡＭ１７１のテキストデータ１７１Ｂに基づいて、第１の表示パネル１４０がテキストを表示している場合について説明する。

まず、第１の表示制御部１１１として機能するＣＰＵ１１０は、ＲＡＭ１７１のテキストデータ１７１Ｂに基づいて第１の表示パネル１４０にテキストを表示させる。第１の受付部１１２として機能するＣＰＵ１１０は、操作キー１７７あるいは第１の表示パネル１４０あるいは第２の表示パネル２４０を介してユーザからテキスト内の領域の指定命令を受け付ける（ステップＳ１０２）。取得部１１３として機能するＣＰＵ１１０は、テキストデータ１７１Ｂに基づいて指定領域内の文字の属性（言語やサイズなど）を取得する（ステップＳ１０４）。

第２の受付部１１４として機能するＣＰＵ１１０は、第２の表示パネル２４０を介してユーザからの手書き入力を待ち受ける（ステップＳ１０６）。ＣＰＵ１１０が手書き入力を受け付けると（ステップＳ１０６にてＹＥＳである場合）、認識部１１５として機能するＣＰＵ１１０は、文字データベース１７１Ａを参照して、文字の属性（言語など）に基づき手書き入力に対応する文字を認識する（ステップＳ１０８）。より詳細には、ＣＰＵ１１０は、手書き入力に対応する複数の文字をマッチングの度合いが大きい順にＲＡＭ１７１に記憶する。同時に、ＣＰＵ１１０は、認識した文字のサイズを取得する。

第２の表示制御部１１６として機能するＣＰＵ１１０は、指定領域内の文字の属性に含まれるサイズ（あるいは指定領域内の文字の個数）と、認識した文字のサイズとに基づいて、文字の表示サイズを決定する（ステップＳ１１０）。ＣＰＵ１１０は、認識した文字を、表示サイズにて第２の表示パネル２４０に表示させる（ステップＳ１１２）。ＣＰＵ１１０は、操作キー１７７上の決定キー、あるいは第２の表示パネル２４０に表示されている決定キーが押下されたか否かを判断する（ステップＳ１１４）。ＣＰＵ１１０は、決定キーが押下されると（ステップＳ１１４にてＹＥＳである場合）、第１の表示パネル１４０に認識した文字を表示させる（ステップＳ１２０）。すなわち、ＣＰＵ１１０は、認識した文字をテキストデータ１７１Ｂに反映させる。

ＣＰＵ１１０は、決定キーが押下されない場合（ステップＳ１１４にてＮＯである場合）、ユーザから手書き入力した文字を消去する旨の消去命令を受け付けたか否かを判断する（ステップＳ１１６）。ＣＰＵ１１０は、消去命令を受け付けた場合（ステップＳ１１６にてＹＥＳである場合）、ステップＳ１０６からの処理を繰り返す。

ＣＰＵ１１０は、消去命令を受け付けない場合（ステップＳ１１６にてＮＯである場合）、次候補検索する旨の候補変更命令を受け付けたか否かを判断する（ステップＳ１１８）。ＣＰＵ１１０は、候補変更命令を受け付けると（ステップＳ１１８にてＹＥＳである場合）、ステップＳ１１２からの処理を繰り返す。すなわち、ＣＰＵ１１０は、ＲＡＭ１７１から次にマッチングの度合いが大きい文字を読み出して、第２の表示パネル２４０に表示させる。ＣＰＵ１１０は、候補変更命令を受け付けないと（ステップＳ１１８にてＮＯである場合）、ステップＳ１１４からの処理を繰り返す。

＜その他の実施の形態＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態に係る電子機器の外観を示す概略図である。電子機器のハードウェア構成を表わすブロック図である。表示パネルの構成と当該表示パネルの周辺回路とを示した図である。表示パネルとバックライトとの断面図である。光センサ回路を動作させる際のタイミングチャートを示した図である。スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。コマンドの概略構成を示した図である。種別「０００」のコマンドを説明するための図である。種別「００１」のコマンドを説明するための図である。種別「０１０」のコマンドを説明するための図である。種別「０１１」のコマンドを説明するための図である。種別「１００」のコマンドを説明するための図である。種別「１０１」のコマンドを説明するための図である。応答データの概略構成を示した図である。指をスキャンすることにより得られた画像（スキャン画像）を示した図である。スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。電子機器の変形例のハードウェア構成を表すブロック図である。本実施の形態に係る電子機器の機能構成を示すブロック図である。文字認識機能を示すための第２の表示パネルの画面推移を示すイメージ図である。入力文字の種類が指定されている場合の文字認識機能を示す第１のイメージ図である。入力文字の種類が指定されている場合の文字認識機能を示す第２のイメージ図である。指定領域に３つの文字が含まれている場合に大きい文字が手書き入力された状態における文字認識機能を示すイメージ図である。指定領域に３つの文字が含まれている場合に小さい文字が手書き入力された状態における文字認識機能を示すイメージ図である。指定領域に５つの文字が含まれている場合に大きい文字が手書き入力された状態における文字認識機能を示すイメージ図である。本実施の形態に係る電子機器における文字認識処理の処理手順を示すフローチャートである。

符号の説明

１００，１３００電子機器、１０１本体装置、１０２，１０２Ａ，１０３表示装置、１１０ＣＰＵ、１１１第１の表示制御部、１１２第１の受付部、１１３取得部、１１４第２の受付部、１１５認識部、１１６第２の表示制御部、１３０ドライバ、１３１走査信号線駆動回路、１３２データ信号線駆動回路、１３３光センサ駆動回路、１３４スイッチ、１３５アンプ、１４０第１の光センサ内蔵液晶パネル（第１の表示パネル）、１４１，２４１画素回路、１４１ｂ，１４１ｇ，１４１ｒサブピクセル回路、１４３電極対、１４３ａ画素電極、１４３ｂ対向電極、１４４，２４４光センサ回路、１４５，１４５ｂ，１４５ｇ，１４５ｒフォトダイオード、１４６コンデンサ、１５１Ａアクティブマトリクス基板、１５１Ｂ対向基板、１５２液晶層、１５３ｂ，１５３ｇ，１５３ｒカラーフィルタ、１５７データ信号線、１６１偏光フィルタ、１６２ガラス基板、１６３遮光膜、１６４配向膜、１７１ＲＡＭ、１７１Ａ文字データベース、１７１Ｂテキストデータ、１７３メモリカードリーダライタ、１７４通信装置、１７５マイク、１７６スピーカ、１７７操作キー、１７９バックライト、１８０画像処理エンジン、１８１ドライバ制御部、１８２タイマ、１８３信号処理部、２４０第２の光センサ内蔵液晶パネル（第２の表示パネル）、１００１第１のユニット、１００２第２のユニット、１７３１メモリカード、ＤＢ１，ＤＢ２データバス。

Claims

第１の表示パネルと、
前記第１の表示パネルにテキストを表示させる第１の表示制御手段と、
表示される前記テキスト内の領域の指定を受け付ける第１の受付手段と、
前記領域に含まれる文字の属性を取得する取得手段と、
手書き入力を受け付ける第２の受付手段と、
前記属性に基づいて前記手書き入力に対応する文字を認識する認識手段とを備える、文字認識装置。
前記文字を特定するための識別情報に対応付けて前記文字の形状を示す形状情報を記憶する記憶部をさらに備え、
前記識別情報は対応する前記文字の属性を含み、
前記認識手段は、前記第２の受付手段が受け付けた前記手書き入力に基づいて、前記取得手段が取得した前記属性に対応する前記形状情報の各々を順次参照することにより、前記手書き入力に対応する前記識別情報を取得する、請求項１に記載の文字認識装置。
前記属性は対応する文字の言語の種類を含む、請求項１または２に記載の文字認識装置。
第２の表示パネルと、
前記第２の表示パネルに前記領域に含まれる文字を表示させる第２の表示制御手段とをさらに備え、
前記第２の受付手段は、前記第２の表示パネルを介して前記手書き入力を受け付ける、請求項１から３のいずれか１項に記載の文字認識装置。
前記第２の表示パネルは、
入射光に応じて入力信号を生成する複数の光センサ回路と、
出力信号に応じて光を発する複数の画素回路とを含み、
前記第２の受付手段は、前記複数の光センサ回路からの入力信号に基づいて前記手書き入力を受け付け、
前記第２の表示制御手段は、前記手書き入力に基づいて前記画素回路に前記出力信号を出力することによって、前記第２の表示パネルに手書き画像を表示させる、請求項１から４のいずれか１項に記載の文字認識装置。
前記第１の表示制御手段は、前記認識手段が認識した文字を前記属性に基づいて前記第１の表示パネルに表示させる、請求項１から５のいずれか１項に記載の文字認識装置。
前記属性は、対応する文字のサイズを含み、
前記認識手段は、前記手書き入力された文字のサイズを取得し、
前記第１の表示制御手段は、前記属性に含まれる文字のサイズと前記手書き入力された文字のサイズとに基づいて表示サイズを決定し、前記認識手段が認識した文字を前記第１の表示パネルに前記表示サイズで表示させる、請求項６に記載の文字認識装置。
第１の表示パネルと演算処理部とを有する文字認識装置における文字認識方法であって、
前記演算処理部が、前記第１の表示パネルにテキストを表示させるステップと、
前記演算処理部が、表示される前記テキスト内の領域の指定を受け付けるステップと、
前記演算処理部が、前記領域に含まれる文字の属性を取得するステップと、
前記演算処理部が、手書き入力を受け付けるステップと、
前記演算処理部が、前記属性に基づいて前記手書き入力に対応する文字を認識するステップとを備える、文字認識方法。
第１の表示パネルと演算処理部とを有する文字認識装置に文字を認識させるための文字認識プログラムであって、前記演算処理部に、
前記第１の表示パネルにテキストを表示させるステップと、
表示される前記テキスト内の領域の指定を受け付けるステップと、
前記領域に含まれる文字の属性を取得するステップと、
手書き入力を受け付けるステップと、
前記属性に基づいて前記手書き入力に対応する文字を認識するステップとを実行させる、文字認識プログラム。