JP2010062939A - 画像表示／像検知装置 - Google Patents

Abstract

【課題】簡易な操作により、１または複数の文書などの対象物の両面を同時に読み取るとともに、該両面の読み取り結果を、対象物毎に対応付けて表示する。
【解決手段】２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面には、画像を表示するとともに近傍の像を検知する第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂが、互いに対向するように配設され、上記第２表示／光センサ部３００Ｂは、１または複数の対象物の像を検知し、上記第１表示／光センサ部３００Ａは、上記第２表示／光センサ部３００Ｂにて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、上記第１表示／光センサ部３００Ａおよび上記第２表示／光センサ部３００Ｂの少なくとも一方は、上記検知した上記対象物の像の画像を、上記対象物毎に対応付けて表示する。
【選択図】図１

Description

本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書などの対象物の両面を同時に読み取ることができる画像表示／像検知装置に関するものである。

従来から、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置が、広く用いられている。さらに近年では、携帯型のスキャナ装置が登場している。その一例として、文字などの読み取りが可能なカメラ付き携帯電話機や、ファクシミリ装置などに備えられているハンディスキャナなどが挙げられる。

また、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している（特許文献１参照）。

特許文献１に開示されているスキャナ装置は、２つのスキャナユニットをヒンジ部で折り畳める構造になっており、該折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。

また、特許文献２には、文書の両面をスキャナ装置での読み取り結果を取得し、自装置の表示部に表示する画像情報処理装置が開示されている。
特開２００８−６６９６１号公報（公開日：平成２０年３月２１日） 特開平８−８８７４１号公報（公開日：平成８年４月２日）

携帯型のスキャナ装置は、持ち運びが可能である点で、利便性がある。しかしながら、読み取り性能や操作性の点で、利便性に欠ける場合がある。例えば、カメラ付き携帯電話機のカメラ機能を用いて文書の読み取りを行うことを考えると、カメラの性能によっては、読み取り結果が鮮明でなかったり、レンズに起因して読み取り結果に歪みが発生する場合がある。さらに、一度の操作で文書の片面しか読み取れなかったり、読み取り結果を他の装置で利用しにくかったり、メモリサイズに制限があるため読み取り結果を大量に保存できなかったり、読み取りを行うためにカメラを起動する手間がかかる等の、操作上の不便さがある。

一方、コピー機等のように、ラインスキャナを搭載した装置では、読み取り性能は高いが、ラインスキャナの構造上、小型化が困難であり、携帯性に欠ける。

また、特許文献１に開示されているスキャナ装置は、文書の両面を同時に読み取れるが、読み取り結果を表示しないため、読み取り結果をすぐに確認できない点で、利便性に欠ける。

また、特許文献２に開示されている画像情報処理装置は、スキャナ装置から取得した読み取り結果を表示するが、自装置で読み取りを行うものではないため、読み取りと、読み取り結果の確認とを、異なる装置にて行う必要があることから、利便性に欠ける。

また、上述した従来装置を用いて複数の文書の読み取りを行う場合、該読み取った結果として得られる画像データは１つであった。そのため、複数の文書毎に、読み取り結果としての画像データを得たい場合には、文書を１つずつ順番に読み取る作業を行うか、または、複数の文書を同時に読み取った結果として得られる１つの画像データを別途編集し、文書毎の画像データに切り分ける作業が必要であり、手間がかかるという問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像表示および対象物の読み取りを同時に行うことができる画像表示／像検知装置であって、特に、簡易な操作により、１または複数の文書などの対象物の両面を同時に読み取るとともに、該両面の読み取り結果を、対象物毎に対応付けて表示または記憶することができる画像表示／像検知装置を提供することにある。

上記課題を解決するために、本発明に係る画像表示／像検知装置は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、上記第１面状部材および上記第２面状部材の少なくとも一方は、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて表示することを特徴としている。

上記の構成によれば、第１面状部材は、画像を表示するとともに、上記筐体を折り畳んだ状態で、上記第１面状部材と上記第２面状部材とに挟まれた１または複数の対象物の像を検知することができる。また、第２面状部材は、画像を表示するとともに、上記筐体を折り畳んだ状態で、上記１または複数の対象物の像を検知することができる。また、上記第１面状部材および上記第２面状部材の少なくとも一方は、上記検知した上記１または複数の対象物の像の画像を表示することができる。

そして、上記第１面状部材と上記第２面状部材とは対向するように配設されているため、上記１または複数の対象物の像を、上記第１面状部材および上記第２面状部材にて検知した場合、上記第１面状部材にて上記１または複数の対象物の像を検知した各領域と、上記第２面状部材にて上記１または複数の対象物の像を検知した各領域とは、それぞれ対向する位置関係にある。よって、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、像を検知した各領域毎に対応付けることができる。よって、上記第１面状部材および上記第２面状部材の少なくとも一方は、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを上記対応付けた状態で表示することができる。

したがって、上記画像表示／像検知装置を用いるユーザは、上記筐体を開閉する操作を行うだけで、上記１または複数の対象物の表面（対象物を載置した状態でユーザから見える側の面）および裏面（対象物を載置した状態でユーザから見えない側の面）の像を検知させることができることに加えて、当該検知が終了した後、上記画像表示／像検知装置にて上記検知した像の各画像を上記対応付けられた状態で表示することにより、ユーザは、上記１または複数の対象物の表面の像の画像および裏面の像の画像を、対象物毎に、容易に確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記第１面状部材は、該第１面状部材にて検知した上記１または複数の対象物の像の画像を表示し、上記第２面状部材は、該第２面状部材にて検知した上記１または複数の対象物の像の画像を表示する構成としてもよい。

上記の構成によれば、さらに、上記第１面状部材にて検知した上記１または複数の対象物の像の画像を、上記第１面状部材に表示し、また、上記第２面状部材にて検知した上記１または複数の対象物の像の画像を、上記第２面状部材に表示する。

よって、例えば、上記第２面状部材に上記１または複数の対象物を載置し、上記第１面状部材にて上記１または複数の対象物の表面（対象物を載置した状態でユーザから見える側の面）の像を検知し、上記第２面状部材にて上記１または複数の対象物の裏面（対象物を載置した状態でユーザから見えない側の面）の像を検知する場合、上記第１面状部材に上記１または複数の対象物の表面の像の画像が表示され、上記第２面状部材に上記１または複数の対象物の裏面の像の画像が表示されるとともに、各画像は上記対応付けられた状態で表示される。

したがって、ユーザは、上記１または複数の対象物の表面の画像および裏面の像の画像を対象物毎に確認するにあたり、上記第２面状部材に載置した上記１または複数の対象物を確認しながら、第１面状部材に表示された対象物の表面の像の画像を確認できるとともに、上記第２面状部材に載置した上記１または複数の対象物を取り除くことにより、第２面状部材に表示された上記１または複数の対象物の裏面の像の画像を確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記第１面状部材および上記第２面状部材は、上記第１面状部材にて検知した上記１または複数の対象物の像の各画像および上記第２面状部材にて検知した上記１または複数の対象物の像の各画像に付して、上記対応付けを示す情報を表示する構成としてもよい。

上記の構成によれば、さらに、上記第１面状部材にて検知した上記１または複数の対象物の像の各画像および上記第２面状部材にて検知した上記１または複数の対象物の像の各画像に付して、上記対応付けを示す情報を表示することができる。

よって、ユーザは、上記対応付けを示す情報が付されている２つの画像は、同一の上記対象物の表面の画像および裏面の像の画像であることを知ることができる。

したがって、ユーザは、上記１または複数の対象物の表面の画像および裏面の像の画像を、対象物毎に、より容易に確認することができるので、ユーザの利便性が向上するという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記対応付けを示す情報は、上記第１面状部材にて検知した上記対象物の像の画像と、上記第２面状部材にて検知した対象物の像の画像とを連結する線であってもよい。

上記の構成によれば、さらに、上記対応付けを示す情報は、上記第１面状部材にて検知した上記対象物の像の画像と、上記第２面状部材にて検知した対象物の像の画像とを連結する線とすることができる。

よって、ユーザは、上記線が連結されている画像同士は、同一の上記対象物の像の画像同士であることを知ることができる。

したがって、ユーザは、対象物毎に、表面の像の画像および裏面の像の画像の組を、より容易に確認することができるので、ユーザの利便性が向上するという効果を奏する。

なお、上記第１面状部材にて検知した上記１または複数の対象物の像の画像を、上記第１面状部材に表示し、また、上記第２面状部材にて検知した上記１または複数の対象物の像の画像を、上記第２面状部材に表示する場合、上記連結する線は、上記第１面状部材および上記第２面状部材にて表示することとなるが、上記第１面状部材と上記第２面状部材との間は断線することとなる。しかしながら、この場合であっても、仮に断線部分に線が表示されていると仮定すれば、上記第１面状部材にて検知した上記対象物の像の画像と、上記第２面状部材にて検知した対象物の像の画像とが、あたかも連結しているように見えることを想定している。

上記課題を解決するために、本発明に係る画像表示／像検知装置は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて記憶部に格納する検知画像格納部を備えることを特徴としている。

上記の構成によれば、第１面状部材は、画像を表示するとともに、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知することができる。また、第２面状部材は、画像を表示するとともに、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知することができる。また、上記検知した上記１または複数の対象物の像の画像を記憶部に格納することができる。

そして、上記第１面状部材と上記第２面状部材とは対向するように配設されているため、上記１または複数の対象物の像を、上記第１面状部材および上記第２面状部材にて検知した場合、上記第１面状部材にて上記１または複数の対象物の像を検知した各領域と、上記第２面状部材にて上記１または複数の対象物の像を検知した各領域とは、それぞれ対向する位置関係にある。よって、上記第１面状部材および上記第２面状部材の少なくとも一方は、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、像を検知した各領域毎に対応付けることができる。

したがって、上記画像表示／像検知装置を用いるユーザは、上記筐体を開閉する操作を行うだけで、上記１または複数の対象物の表面（対象物を載置した状態でユーザから見える側の面）の像の画像および裏面（対象物を載置した状態でユーザから見えない側の面）の像の画像を、対象物毎に対応付けられた状態で、記憶させることができるので、ユーザの操作性および利便性が向上するという効果を奏する。

以上のように、本発明に係る画像表示／像検知装置は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、上記第１面状部材および上記第２面状部材の少なくとも一方は、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて表示する。

よって、上記画像表示／像検知装置を用いるユーザは、上記筐体を開閉する操作を行うだけで、上記１または複数の対象物の表面（対象物を載置した状態でユーザから見える側の面）および裏面（対象物を載置した状態でユーザから見えない側の面）の像を検知させることができることに加えて、当該検知が終了した後、上記画像表示／像検知装置にて上記検知した像の各画像を上記対応付けられた状態で表示することにより、ユーザは、上記１または複数の対象物の表面の像の画像および裏面の像の画像を、対象物毎に、容易に確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。

また、本発明に係る画像表示／像検知装置は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて記憶部に格納する検知画像格納部を備える。

よって、上記画像表示／像検知装置を用いるユーザは、上記筐体を開閉する操作を行うだけで、上記１または複数の対象物の表面（対象物を載置した状態でユーザから見える側の面）の像の画像および裏面（対象物を載置した状態でユーザから見えない側の面）の像の画像を、対象物毎に対応付けられた状態で、容易に記憶させることができるので、ユーザの操作性および利便性が向上するという効果を奏する。

本発明の一実施形態について図１から図１８に基づいて説明すると以下の通りである。

本実施形態に係るデータ表示／センサ装置１００（画像表示／像検知装置）は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル３０１（第１面状部材、第２面状部材）が、互いに対向するようにそれぞれ配設され、上記筐体を折り畳んだ状態で、それぞれのセンサ内蔵液晶パネル３０１に含まれる光センサ回路３２を駆動させることにより、２つのセンサ内蔵液晶パネル３０１の間に挟みこんだ、１または複数の対象物（文書など）の表面および裏面の少なくともいずれかをスキャンするとともに、スキャンした結果として得られる画像データを、２つのセンサ内蔵液晶パネル３０１の少なくともいずれかに表示することが可能な装置である。そして、データ表示／センサ装置１００は、対象物の表面および裏面を同時にスキャンした場合、表面および裏面のそれぞれのスキャンした結果として得られる画像データを、対象物ごとに対応付けて、センサ内蔵液晶パネル３０１に表示するとともに、記憶部に格納する。

まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置の筐体）
次に、図９（ａ）および図９（ｂ）を参照しながら、本発明に係るデータ表示／センサ装置１００の筐体について説明する。図９（ａ）および図９（ｂ）は、データ表示／センサ装置１００の筐体を示す概要図である。図示のとおり、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとが向き合うように、ヒンジ部Ｈで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図９（ａ）は、データ表示／センサ装置１００の筐体を開いた（つまり、折り畳んでいない）様子を示す図であり、図９（ｂ）は、データ表示／センサ装置１００の筐体を閉じた（つまり、折り畳んだ）様子を示す図である。

図９（ａ）に示すとおり、データ表示／センサ装置１００の筐体を開いたとき、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１と、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１との少なくとも一方がユーザに見える状態となり、データ表示およびユーザ入力が可能となる。

また、図９（ｂ）に示すとおり、データ表示／センサ装置１００の筐体を閉じたとき、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１と、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１とは向き合う状態となるので、両方のセンサ内蔵液晶パネル３０１の間に、１または複数の文書Ｐ１などの対象物を挟むことにより、当該対象物の片面または両面をスキャンすることが可能となる。

なお、データ表示／センサ装置１００の筐体を閉じた状態では、図９（ｂ）に示すとおり、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのいずれか一方が上側にあり、他方が下側にあると言える。そこで、以降では、説明の便宜上、第１表示／光センサ部３００Ａを「上画面」とも称し、また、第２表示／光センサ部３００Ｂを「下画面」とも称する。また、スキャンを実行する表示／光センサ部３００を「スキャン実行面」とも称する。

また、図９（ａ）に示すとおり、ユーザは、通常、下画面である第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１上に、文書Ｐ１などの対象物を置くものとして説明する。

なお、以降では、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ａと表記し、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ｂと表記する。センサ内蔵液晶パネル３０１Ａおよびセンサ内蔵液晶パネル３０１Ｂを区別しないときは、センサ内蔵液晶パネル３０１と表記する。

また、以降では、単に“表示する（または、表示させる）”と表記している場合は、センサ内蔵液晶パネル３０１に表示する（または、表示させる）ものとする。

（発明の要点）
本発明の主な特徴は、データ表示／センサ装置１００の筐体を閉じた状態において、センサ内蔵液晶パネル３０１Ａの光センサ回路３２とセンサ内蔵液晶パネル３０１Ｂの光センサ回路３２とを駆動させることにより、センサ内蔵液晶パネル３０１Ａとセンサ内蔵液晶パネル３０１Ｂとの間に挟みこんだ、１または複数の対象物の表面と裏面とをスキャンする（以下、両面スキャンとも称する）とともに、スキャンした結果として得られる画像データを、対象物毎に対応付けて表示または記憶することである。

これにより、例えば、データ表示／センサ装置１００の筐体を閉じたことを、スキャンを実行するトリガとして設定しておけば、データ表示／センサ装置１００の筐体を開閉するという簡易な操作を行うだけで、上記挟みこんだ１または複数の対象物の両面スキャンを行うことが可能となる。さらに、対象物の表面をスキャンした結果として得られる画像データと、当該対象物の裏面をスキャンした結果として得られる画像データとを、対象物毎に対応付けて表示または記憶するので、ユーザの操作性および利便性が向上する。

（データ表示／センサ装置を用いて両面スキャンを行う様子）
次に、図１（ａ）から図１（ｄ）を参照しながら、データ表示／センサ装置１００が、複数の対象物の両面スキャンを行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。

まず、図１（ａ）は、データ表示／センサ装置１００が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。ここでは、下画面に、スキャンを行うにあたり対象物を載置する領域（以下、載置領域）Ｒ１と、ユーザ操作可能なボタンであるスイッチＳＷ１とを表示するとともに、上画面に、ユーザに対するメッセージＭ１を表示している。

次に、図１（ｂ）は、対象物である文書Ｐ２および文書Ｐ３（例えば、名刺）が下画面のセンサ内蔵液晶パネル３０１上に置かれた様子を示す図である。このとき、下画面のセンサ内蔵液晶パネル３０１が、載置領域Ｒ１内に文書Ｐ２または文書Ｐ３の少なくとも一方が置かれたことを検出すると、上画面のセンサ内蔵液晶パネル３０１に新たなメッセージＭ２を表示する。

次に、図１（ｃ）は、図１（ｂ）で示す状態から、データ表示／センサ装置１００の筐体が閉じられた様子を示す図である。このとき、例えば、ヒンジ部に設けられているヒンジ部スイッチ９０４が、筐体が閉じたことを検知すると、上画面のセンサ内蔵液晶パネル３０１が文書Ｐ２の表面および文書Ｐ３の表面をスキャンするとともに、下画面のセンサ内蔵液晶パネル３０１が文書Ｐ２の裏面および文書Ｐ３の裏面をスキャンする。そして、スキャンが完了すると、スキャンが完了した旨をユーザに通知する（例えば、所定の音声を出力したり、所定のランプが点灯する等）。

次に、図１（ｄ）は、図１（ｃ）で示す状態においてスキャンが実行された後、データ表示／センサ装置１００の筐体が開かれた様子を示す図である。なお、文書Ｐ２および文書Ｐ３は、図示のように、下画面のセンサ内蔵液晶パネル３０１上から取り除いている。そして、例えば、ヒンジ部スイッチ９０４が、筐体が開いたことを検知すると、上画面のセンサ内蔵液晶パネル３０１は、上画面のセンサ内蔵液晶パネル３０１にてスキャンした結果として得られる画像データのうち、文書Ｐ２の表面に該当する部分であるスキャンデータＳＣＤ２１、および、文書Ｐ３の表面に該当する部分であるスキャンデータＳＣＤ３１のそれぞれを、１８０度回転した状態で表示する。

また、下画面のセンサ内蔵液晶パネル３０１は、下画面のセンサ内蔵液晶パネル３０１にてスキャンした結果として得られる画像データのうち、文書Ｐ２の裏面に該当する部分であるスキャンデータＳＣＤ２２、および、文書Ｐ３の裏面に該当する部分であるスキャンデータＳＣＤ３２を表示する。

さらに、スキャンデータＳＣＤ２１およびスキャンデータＳＣＤ２２は、文書Ｐ２のスキャンデータであるため、対応付けられるものである。そのために、スキャンデータＳＣＤ２１とスキャンデータＳＣＤ２２とが対応付けられていることを示す情報として、スキャンデータＳＣＤ２１とスキャンデータＳＣＤ２２とを連結する線Ｔ５２および線Ｔ６２を表示している。また同様に、スキャンデータＳＣＤ３１とスキャンデータＳＣＤ３２とは、文書Ｐ３のスキャンデータであるため、対応付けられるものである。そのために、スキャンデータＳＣＤ３１とスキャンデータＳＣＤ３２とが対応付けられていることを示す情報として、スキャンデータＳＣＤ３１とスキャンデータＳＣＤ３２とを連結する線Ｔ５３および線Ｔ６３を表示している。

なお、この例では、文書Ｐ２を挟んだ場所に対応する位置に、スキャンデータＳＣＤ２１およびＳＣＤ２２を表示している。また、文書Ｐ３を挟んだ場所に対応する位置に、スキャンデータＳＣＤ３１およびＳＣＤ３２を表示している。また、上画面のセンサ内蔵液晶パネル３０１に、ユーザに対する新たなメッセージＭ３を表示している。

また、ユーザ操作により、スキャンデータＳＣＤ２１、ＳＣＤ２２、ＳＣＤ３１、ＳＣＤ３２の表示向きや表示位置などを変更したり、記憶部９０１に格納したり、スキャンデータＳＣＤ２１、ＳＣＤ２２、ＳＣＤ３１、ＳＣＤ３２に含まれる文字を認識するために、文字認識機能を起動してもよい。なお、上記ユーザ操作は、図示していないメニューやスイッチＳＷ１をタッチ等したり、スキャンデータＳＣＤ２１、ＳＣＤ２２、ＳＣＤ３１、ＳＣＤ３２を直接タッチ等することにより行われる。

なお、以下では、対象物をスキャンした結果として得られる画像データのうち、対象物に該当する部分を「スキャンデータ」と称する。

（データ表示／センサ装置のより詳細な構成）
次に、図１０を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１０は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、記憶部９０１は、メニュー記憶部２１、スキャン属性情報記憶部２２、および画像データ記憶部２３（記憶部）を含んでいる。

メニュー記憶部２１は、センサ内蔵液晶パネル３０１上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。

なお、メニュー記憶部２１は、データ表示／センサ装置１００の動作状態に応じたメニューを記憶する。例えば、データ表示／センサ装置１００の起動直後に、センサ内蔵液晶パネル３０１上に表示されるメニューとして、スキャン処理と対応付けられているメニュー項目である「画像スキャン」、記憶部に格納している画像データをセンサ内蔵液晶パネル３０１上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。

また、例えば、センサ内蔵液晶パネル３０１上に画像データを表示している状態において、センサ内蔵液晶パネル３０１上に表示されるメニューとして、「拡大／縮小」、「全画面表示」、「回転／反転」、「上下表示入れ替え」、「編集」、「文字認識」、「外部記憶域へ保存」、「各種設定」、「終了」などのメニュー項目を含むメニューを記憶している。

なお、メニュー項目は、さらにサブメニュー項目と対応付けられていてもよい。例えば、上記「編集」メニュー項目は、サブメニュー項目として「コメントの追加」、「表示範囲の変更」、「蛍光ペン」、「白黒反転」などと対応付けられていてもよい。

スキャン属性情報記憶部２２は、スキャン処理部１２が、センサ内蔵液晶パネル３０１上に置かれた対象物のスキャンを行うために用いる各種情報を記憶するものである。スキャン属性情報記憶部２２は、表示メッセージ記憶部２２１、スキャンパターン記憶部２２２、およびスキャンモード記憶部２２３を含んでいる。

表示メッセージ記憶部２２１は、（１）ユーザに提示する所定のメッセージ、（２）該メッセージを、センサ内蔵液晶パネル３０１Ａおよびセンサ内蔵液晶パネル３０１Ｂのいずれに表示するかを示す情報（以下、メッセージ表示面情報）、および、（３）センサ内蔵液晶パネル３０１上において上記メッセージを表示する領域を示す情報（座標データなど）（以下、メッセージ表示領域情報）の組を、読み出し可能な状態で記憶する。以下、表示メッセージ記憶部２２１で記憶する組を、メッセージ情報と称する。

ユーザに提示する所定のメッセージとしては、例えば、対象物の準備を促すためのメッセージである「用紙をスキャン位置に置いてください」、筐体を閉じることを促すためのメッセージである「用紙をセットしたら蓋を閉じてください」、スキャン結果の確認を促すためのメッセージである「スキャン結果を確認してください」などの文字データが挙げられる。なお、上記メッセージは、文字データに限定されるものではなく、画像データなどであってもよい。

次に、スキャンパターン記憶部２２２は、（１）載置領域を示す情報（以下、載置領域情報）、（２）第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのいずれの面でスキャンを実行するかを示す情報（以下、スキャン実行面情報）、および（３）スキャンデータを第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのいずれに表示するかを示す情報（以下、スキャンデータ表示面情報）の組を、読み出し可能な状態で記憶する。以下、スキャンパターン記憶部２２２で記憶する上記組を、スキャンパターン情報とも称する。

なお、スキャンパターン情報に含まれる上記（１）から（３）の情報は、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部１３８を介してユーザが設定可能になっていてもよい。

また、スキャンパターン記憶部２２２の格納されているスキャンパターン情報のいずれかが、スキャン処理部１２に参照される。いずれのスキャンパターン情報が参照対象となるかは、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部１３８を介してユーザが設定可能になっていてもよい。

スキャンパターン記憶部２２２は、例えば下記の表１に示すようなデータ構造とすることができる。表１は、スキャンパターン記憶部２２２のデータ構造の一例を示す表である。

表１に示すように、スキャンパターン記憶部２２２は、「載置領域」、「スキャン実行面」、および「スキャンデータ表示面」の組を記憶する。

「載置領域」は、載置領域情報を格納するカラムである。上述したように、ここでは、下画面のセンサ内蔵液晶パネル３０１上に対象物を置くものとしている。したがって、表１の例では、下画面のセンサ内蔵液晶パネル３０１における、左上の座標が（x3,y3）であり、右下の座標が（x4,y4）で表わされる矩形の領域を、載置領域として記憶している。

「スキャン実行面」は、スキャン実行面情報を格納するカラムである。したがって、表１の１つ目のレコードのように、「スキャン実行面」が“上画面”である場合は、センサ内蔵液晶パネル３０１Ａがスキャンを実行することを意味する。また、表１の２つ目のレコードのように、「スキャン実行面」が“下画面”である場合は、センサ内蔵液晶パネル３０１Ｂがスキャンを実行することを意味する。また、表１の３つ目のレコードのように、「スキャン実行面」が“上画面”かつ“下画面”である場合は、センサ内蔵液晶パネル３０１Ａおよびセンサ内蔵液晶パネル３０１Ｂの両方がスキャンを実行することを意味する。

「スキャンデータ表示面」は、スキャンデータ表示面情報を格納するカラムである。したがって、表１の１つ目のレコードのように、「表示面」が“上画面”である場合は、第１表示／光センサ部３００Ａにスキャンデータを表示することを意味する。複数の対象物が載置領域上に置かれた結果、スキャンデータが複数得られた場合でも、それらスキャンデータをすべて上画面に表示する。

なお、スキャンデータを表示しない場合は、「スキャンデータ表示面」カラムの値をＮＵＬＬ値等に設定しておけばよい。

ここで、表１に格納されているスキャンパターン情報をレコード毎に説明する。表１の１つ目のレコードは、（１）載置領域が、下画面における左上の座標が（x3,y3）であって右下の座標が（x4,y4）で示される矩形領域であり、（２）上画面でスキャンを実行させ、（３）スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。

次に、表１の２つ目のレコードは、（１）載置領域が、下画面における左上の座標が（x3,y3）であって右下の座標が（x4,y4）で示される矩形領域であり、（２）下画面でスキャンを実行させ、（３）スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。

次に、表１の３つ目のレコードは、（１）載置領域が、下画面における左上の座標が（x3,y3）であって右下の座標が（x4,y4）で示される矩形領域であり、（２）上画面および下画面でスキャンを実行させ、（３）いずれのスキャンデータも上画面に表示する、というスキャンパターン情報を記憶している。

最後に、表１の４つ目のレコードは、（１）載置領域が、下画面における左上の座標が（x3,y3）であって右下の座標が（x4,y4）で示される矩形領域であり、（２）上画面および下画面でスキャンを実行させ、（３）上画面でスキャンした結果として得られるスキャンデータを上画面に表示するとともに、下画面でスキャンした結果として得られるスキャンデータを下画面に表示する、というスキャンパターン情報を記憶している。

なお、「載置領域」に記憶される領域の形状は矩形に限定されるものではなく、例えば円形などであってもよい。また、領域を示す情報は座標に限定されるものではない。

次に、スキャンモード記憶部２２３は、スキャンを連続して実行するか否かを示す情報（以下、スキャンモード情報）を記憶する。なお、スキャンを連続的に実行する旨が記憶されている場合、所定のユーザ操作（例えば、データ表示／センサ装置１００の筐体の開閉操作など）をトリガとして、連続的にスキャンが実行されるものとする。

次に、画像データ記憶部２３は、スキャンデータなどの画像データを、読み出し可能な状態で記憶するものである。ユーザが入力したコメントなどを画像データに対応付けて記憶してもよい。

次に、主制御部８００について説明する。図示のように、主制御部８００は、メニュー表示制御部１１、スキャン処理部１２、および画像表示処理部１８を含んでいる。画像表示処理を行わない場合には、画像表示処理部１８を含まなくてもよい。

メニュー表示制御部１１は、データ表示／センサ装置１００の動作状態に応じたメニューやボタンを、メニュー記憶部２１から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル３０１上に表示させる。

そして、ユーザが、センサ内蔵液晶パネル３０１上を指やペンなどで操作（タッチ）したとき、光センサ回路３２が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部１１は、タッチした位置を示す座標データを取得することができる。

したがって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル３０１にメニューやボタンを表示した領域内である場合、メニュー表示制御部１１は、ユーザが、当該メニューやボタンを操作したものと判定することができる。

したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部１１は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像スキャン」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部１２を起動し、スキャン処理を実行させる。また、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、画像表示処理部１８を起動し、画像表示処理を実行させる。

次に、スキャン処理部１２は、センサ内蔵液晶パネル３０１上に置かれた対象物の片面または両面のスキャンを行う。そのために、スキャン処理部１２は、スキャン前処理部１２１、スキャン実行部１３１、およびスキャン属性情報設定部１３８を含んでいる。

スキャン前処理部１２１は、ユーザにスキャンの準備を促したり、対象物が載置領域に置かれているか否かを判定する処理を行うものである。そのために、スキャン前処理部１２１は、載置領域情報提示部１２２、および対象物有無判定部１２３を含んでいる。

載置領域情報提示部１２２は、載置領域をユーザに提示するとともに、対象物の準備を促すためのメッセージをユーザに提示する。そのために、載置領域情報提示部１２２は、スキャンパターン記憶部２２２から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出し、下画面のセンサ内蔵液晶パネル３０１における、上記読み出した載置領域情報で示される領域に、所定のパターン画像を表示させる。

なお、所定のパターン画像は点滅表示させることが望ましい。点滅表示させることにより、ユーザに対して、データ表示／センサ装置１００がスキャン処理を実行可能状態にあることを知らせることができるとともに、載置領域の位置を知らせることができる。

また、載置領域情報提示部１２２は、表示メッセージ記憶部２２１を参照し、対象物の準備をユーザに促すためのメッセージを含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル３０１に表示させる。

次に、対象物有無判定部１２３は、対象物が載置領域に置かれたか否かを判定する。そのために、対象物有無判定部１２３は、データ処理部７００から、少なくとも対象物が置かれた位置を示す座標データを取得する。さらに、対象物の領域を示す部分画像データ（部分画像における座標データを含む）を取得してもよい。なお、複数の対象物が置かれた場合は、上記座標データを、対象物の数だけ取得する。部分画像データを取得する場合も、対象物の数だけ取得する。

なお、対象物がセンサ内蔵液晶パネル３０１上に置かれたとき、光センサ回路３２が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部７００のセンサデータ処理部７０３がセンサ制御部６０２から受信する画像データに変化が生じる。その結果、対象物有無判定部１２３は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ（部分画像における座標データを含む）を、データ処理部７００から取得することができる。

したがって、対象物有無判定部１２３は、上記取得した座標データで示される座標位置が、載置領域内に含まれるか否かを調べる。これにより、対象物有無判定部１２３は、対象物が載置領域に置かれているか否かを判定する。さらに、部分画像データ（部分画像における座標データを含む）を取得している場合は、センサ内蔵液晶パネル３０１上における対象物の位置する領域が、載置領域内にあるか否か（または、載置領域と重なっているか否か）を調べることによって、対象物が載置領域に置かれているか否かを判定してもよい。

そして、載置領域に対象物が置かれていると判定した場合、対象物有無判定部１２３は、表示メッセージ記憶部２２１を参照し、筐体を閉じる旨をユーザに促すためのメッセージ（例えば、“本体を閉じて、音が鳴ったら本体を開いてください”など）を含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル３０１に表示させる。

次に、スキャン実行部１３１は、センサ内蔵液晶パネル３０１にスキャンを実行させた結果として、全体画像データを取得し、該取得した全体画像データからスキャンデータを抽出して、当該スキャンデータを記憶部に格納するものである。そのために、スキャン実行部１３１は、スキャン実行指示部１３２、スキャンデータ抽出部１３３、スキャンデータ表示指示部１３５、およびスキャンデータ格納部１３７（検知画像格納部）を含んでいる。

スキャン実行指示部１３２は、例えば、ヒンジ部スイッチ９０４が、筐体を閉じたことを検出したことをトリガとして、センサ内蔵液晶パネル３０１にスキャンを実行させる。このとき、スキャン実行指示部１３２は、スキャンパターン記憶部２２２から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャン実行面情報に基づいて、スキャンを実行させるセンサ内蔵液晶パネル３０１を決定する。そして、スキャン実行指示部１３２は、上記決定したセンサ内蔵液晶パネル３０１にて、スキャンを実行させる。

なお、筐体を閉じたことは、必ずしもヒンジ部スイッチ９０４が検出しなくてもよい。例えば、センサ内蔵液晶パネル３０１Ａまたはセンサ内蔵液晶パネル３０１Ｂに表示した所定の画像（マークやアイコン）を、該画像を表示していない側のセンサ内蔵液晶パネル３０１にて読み取ることができるとき、筐体が閉じていると判定してもよい。

次に、スキャンデータ抽出部１３３は、スキャンの結果として全体画像データを取得すると、上記取得した全体画像データから、対象物の領域を、スキャンデータとして抽出する。複数の対象物をスキャンした場合は、それぞれの対象物に対応する領域を、スキャンデータとして抽出する。

ここで、対象物の領域を抽出する方法としては、例えば、上記取得した全体画像データに対して、一般的な画像処理によって、対象物の領域と対象物でない部分の領域とを判別し、対象物の領域をスキャンデータとして抽出する方法がある。なお、上記取得した全体画像データにおける、対象物の領域と対象物でない部分の領域とは、画素値の明度等に差異があり、判別することができるものとする。

また、対象物有無判定部１２３が、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ（部分画像における座標データを含む）を取得している場合、スキャンデータ抽出部１３３は、上記取得した全体画像データにおける、対象物の領域を算出し、上記取得した全体画像データから当該領域をスキャンデータとして抽出してもよい。具体的には、対象物有無判定部１２３が取得している座標データおよび部分画像における座標データに基づいて、対象物有無判定部１２３が取得している部分画像データの、全体画像データにおける位置を決定し、スキャンの結果として取得した全体画像データから、上記決定した位置における部分画像データに相当する領域を、スキャンデータとして抽出する。

なお、下画面にて対象物が置かれている領域と、上画面にて対象物をスキャンした領域とは、対向した位置にある（鏡像の関係にある）ので、上画面においてスキャンした結果として得られる画像データにおける対象物の領域は、下画面にてスキャンした結果として得られる画像データにおける対象物の領域に基づいて算出することができる。よって、スキャンデータ抽出部１３３は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ（部分画像における座標データを含む）に基づいて、上画面にてスキャンした結果として得られる全体画像データからも、対象物の領域をスキャンデータとして抽出することができる。

また、スキャンデータ抽出部１３３は、（１）上画面のバックライト３０７を消灯し、下画面のバックライト３０７を点灯させつつ、上画面でスキャンを実行させ、また、（２）下画面のバックライト３０７を消灯し、上画面のバックライト３０７を点灯させつつ、下画面でスキャンを実行させることによって、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ（部分画像における座標データを含む）を取得してもよい。

また、対象物の領域を認識することができない場合は、スキャンパターン記憶部２２２から読み出したスキャンパターン情報に含まれるスキャンデータ領域情報に基づいて、上記取得した全体画像データからスキャンデータを抽出してもよい。

なお、筐体を閉じたとき、上画面の光センサ回路３２が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部７００のセンサデータ処理部７０３がセンサ制御部６０２から受信する画像データに変化が生じる。したがって、上画面にてスキャンされた対象物の位置を示す座標データ、および、当該対象物の領域を示す部分画像データ（部分画像における座標データを含む）を、データ処理部７００から取得することも可能である。この場合、上記取得した部分画像データは、上画面でスキャンした結果としてのスキャンデータである。そして、この場合、スキャンデータ抽出部１３３は、当該座標データおよび部分画像データ（部分画像における座標データを含む）に基づいて、下画面にてスキャンした結果として得られる全体画像データから、対象物の領域をスキャンデータとして抽出することができる。

ここで、両面スキャンが行われているとき、スキャンデータ抽出部１３３は、１つの対象物から得られる２つのスキャンデータ（具体的には、上画面でスキャンした結果として得られるスキャンデータ、および、下画面でスキャンした結果として得られるスキャンデータ）を対応付ける処理を行う。そのために、スキャンデータ抽出部１３３は、グループ化処理部１３４を含んでいる。

グループ化処理部１３４は、スキャンデータ抽出部１３３が抽出したスキャンデータの、上記抽出元の全体画像データにおける位置に基づいて、スキャンデータの対応付けを行う。つまり、下画面でスキャンした結果として得られるスキャンデータ（第１スキャンデータとする）の、当該スキャンデータの抽出元の全体画像データにおける位置と、上画面でスキャンした結果として得られるスキャンデータ（第２スキャンデータとする）の、当該スキャンデータの抽出元の全体画像データにおける位置とが、対向する位置にある場合、上記第１スキャンデータと上記第２スキャンデータとを対応付ける。

なお、上画面でスキャンした結果として得られる部分画像データをスキャンデータ（第３スキャンデータとする）として取得している場合は、当該部分画像データの全体画像における座標位置と、下画面でスキャンした結果として得られるスキャンデータ（第４スキャンデータとする）の、当該スキャンデータの抽出元の全体画像データにおける位置とが、対向する位置にある場合、上記第３スキャンデータと上記第４スキャンデータとを対応付ければよい。

また、両面スキャンを行っていないときは、１つの対象物から対応付けるべき２つのスキャンデータが得られないので、グループ化処理部１３４は、上記対応付けの処理を行わない。

次に、スキャンデータ抽出部１３３は、上記抽出したスキャンデータを、スキャンデータ保持部１３６に一次保存する。なお、グループ化処理部１３４が、スキャンデータの対応付けを行っている場合、スキャンデータ抽出部１３３は、上記対応付けた状態を保持したまま、スキャンデータ保持部１３６に一次保存する。

なお、スキャン実行部１３１は、スキャンデータ抽出部１３３がスキャンデータをスキャンデータ保持部１３６に一次保存した後、スキャンが終了した旨をユーザに通知するために、音声出力部９０８に所定の音声データを出力する。

次に、スキャンデータ表示指示部１３５は、スキャンデータ保持部１３６に一次保存されているスキャンデータを読み出し、センサ内蔵液晶パネル３０１に表示させる。

なお、スキャンデータを表示させるにあたり、スキャンデータ表示指示部１３５は、スキャンパターン記憶部２２２から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャンデータ表示面情報に基づいて、スキャンデータを表示させるセンサ内蔵液晶パネル３０１を決定し、該決定したセンサ内蔵液晶パネル３０１にスキャンデータを表示させる。

ここで、スキャンデータ表示指示部１３５は、複数のスキャンデータを表示させる場合、表示対象のすべてのスキャンデータが、重なることなく表示されるように、表示対象のスキャンデータの表示位置および表示サイズを適切に決定することが望ましい。なお、ユーザに分かりやすくするために、対応付けられているスキャンデータ同士の表示位置は、できるだけ近い方が望ましい。

特に、複数の対象物を両面スキャンした場合において、上画面でスキャンを実行した結果として得られるスキャンデータを上画面で表示させる場合には、当該スキャンした位置に表示させるとともに、下画面でスキャンを実行した結果として得られるスキャンデータを下画面で表示させる場合には、当該スキャンした位置に表示させることが望ましい。対象物を置いていた位置およびその対向する位置に当該対象物のスキャンデータが表示されることとなり、ユーザにとって分かりやすいからである。

また、表示対象となるスキャンデータ同士が対応付けられている場合は、当該対応付けがユーザに視認できるように、スキャンデータ表示指示部１３５は、当該対応付けを示す情報を、スキャンデータに付して表示させることが望ましい。例えば、対応付けられているスキャンデータ同士を連結する線を表示したり、対応付けられているスキャンデータ同士の背景に同じパターン画像を表示するなどが挙げられる。なお、上記対応付けを示す情報としてどのような情報を表示させるかは、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部１３８を介してユーザが設定可能になっていてもよい。

なお、スキャンデータ表示指示部１３５は、例えば、ヒンジ部スイッチ９０４が、筐体を開いたことを検出したことをトリガとして、表示メッセージ記憶部２２１を参照し、スキャンが完了したことをユーザに通知する旨のメッセージ（例えば、“スキャンが完了しました”など）を読み出し、該読み出したメッセージをセンサ内蔵液晶パネル３０１に表示させる。

以上で説明したように、本発明に係るデータ表示／センサ装置１００は、スキャンパターン記憶部２２２に記憶されているスキャンパターン情報に基づいて、上画面および下画面の少なくとも一方を用いて、複数の対象物をスキャンするとともに、スキャンデータを、対象物毎に対応付けて表示または記憶する。

したがって、スキャンパターン記憶部２２２のスキャンパターン情報を予め適切に設定しておくことにより、例えば、下記（１）から（３）に示すような、スキャンおよびスキャンデータの表示または記憶を行うことができる。

（１）複数の対象物のスキャンを上画面で実行させ、その結果として得られるスキャンデータをいずれも上画面に表示させる。（２）複数の対象物のスキャンを上画面および下画面で実行させ、上画面から得られるスキャンデータおよび下画面から得られるスキャンデータを、対象物毎に対応付けて上画面に表示させる。このとき、上画面には、当該対応付けを示す情報を併せて表示させる。
（３）複数の対象物のスキャンを上画面および下画面で実行させ、上画面から得られるスキャンデータを上画面に表示させるとともに、下画面から得られるスキャンデータを下画面に表示させ、かつ、対象物毎に対応付けて表示させる。このとき、上画面および下画面には、当該対応付けを示す情報を併せて表示させる。

なお、下画面に置かれた対象物を上画面でスキャンした結果として得られるスキャンデータをそのまま表示すると、上下が逆の状態で表示されることとなる。したがって、上画面でスキャンを実行した結果として得られるスキャンデータを表示させる際は、１８０度回転させた状態で表示させることが望ましい。この場合、スキャン実行指示部１３２が、スキャンデータを１８０度回転させる画像処理を行い、画像処理された後のスキャンデータをセンサ内蔵液晶パネル３０１に表示させればよい。

また、ユーザが、スキャンデータ表示領域に表示したスキャンデータ自体を操作したり、所定のメニューやボタンを操作することによって、スキャンデータを表示するスキャンデータ表示面およびスキャンデータ表示領域を変更可能としたり、表示の向きを変更可能としてもよい。

次に、スキャンデータ格納部１３７は、ユーザがスキャンデータの格納操作を行なうか、または、スキャン処理部１２がスキャンモード情報を参照することによって、スキャンを連続的に実行することが設定されていることがわかると、スキャンデータ保持部１３６に一次保存されているスキャンデータを、画像データ記憶部２３に格納する。このとき、当該スキャンデータと、シーケンシャルな識別情報とを対応付けて格納する。シーケンシャルな識別情報とは、画像データ記憶部２３に格納するデータを一意に識別するものであればよく、例えば、格納日時などが挙げられる。

なお、スキャンデータ保持部１３６に、スキャンデータが対応付けられた状態で一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部２３に格納する。

なお、スキャンデータの格納操作とは、例えば、スキャンデータの格納処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部１１が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャンデータの格納操作を行ったことがわかる。

次に、スキャン属性情報設定部１３８は、ユーザがスキャン属性情報の設定操作を行ったことをトリガとして、スキャン属性情報記憶部２２に格納されている各種情報を更新するための入力インタフェース（ソフトウェアキーボードなど）をセンサ内蔵液晶パネル３０１上に表示させる。なお、スキャン属性情報の設定操作とは、例えば、スキャン属性情報の設定処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部１１が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャン属性情報の設定操作を行ったことがわかる。

そして、スキャン属性情報設定部１３８は、上記入力インタフェースにてユーザ入力された内容に基づいて、スキャン属性情報記憶部２２に格納されている各種情報を変更する。なお、上記入力インタフェースがソフトウェアキーボードである場合、受信した座標データで示される位置に表示しているキーを判定することにより、ユーザ入力された内容を得ることができる。

なお、スキャン処理部１２は、スキャンモード記憶部２２３に記憶されているスキャンモード情報を参照し、スキャンを連続的に実行する旨が記憶されている場合は、所定のユーザ操作（例えば、データ表示／センサ装置１００の筐体の開閉操作）をトリガとして、連続的にスキャンを実行する。すなわち、スキャン前処理部１２１およびスキャン実行部１３１の組を、連続して起動させる。

次に、画像表示処理部１８は、画像データ記憶部２３に格納されている画像データを、センサ内蔵液晶パネル３０１上に表示するものである。よって、画像表示処理部１８は、画像データ記憶部２３を参照して画像データを取得し、該取得した画像データをセンサ内蔵液晶パネル３０１に表示させる。このとき、画像データ記憶部２３に、２つのスキャンデータ（対象物の表面のスキャンデータおよび裏面のスキャンデータ）が関連付けられた状態で記憶されている場合は、当該２つのスキャンデータを同時に表示させてもよい。また、複数の対象物の表面のスキャンデータのみを同時に表示してもよいし、複数の対象物の裏面のスキャンデータのみを同時に表示してもよい。

また、画像表示処理部１８は、当該表示させる画像データに対して編集等の処理を行うためのメニューやボタンをセンサ内蔵液晶パネル３０１上に表示させる。

また、画像表示処理部１８は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル３０１Ａ上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部２３を参照し、現在表示している画像データより１つ後ろの順番で格納されている画像データを取得し、センサ内蔵液晶パネル３０１に表示してもよい。同様に、画像表示処理部１８は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル３０１Ｂ上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部２３を参照し、現在表示している画像データより１つ前の順番で格納されている画像データを取得し、センサ内蔵液晶パネル３０１に表示してもよい。

なお、上述の説明において、センサ内蔵液晶パネル３０１上に表示したメニューやボタンなどをユーザが操作することによりユーザ入力が行われる旨を記載したが、操作部９０３（スイッチ、リモコン、マウス、キーボードなどの入力デバイス）をユーザが操作することによりユーザ入力が行われてもよい。

（主制御部の動作例）
次に、再び図１を参照しながら、主制御部８００の動作例について、主制御部８００からデータ処理部７００に送信されるコマンドに触れながら、説明する。なお、ここでは、両面スキャンを実行する際の、主制御部８００の動作例について説明する。また、スキャンパターン記憶部２２２の「スキャン実行面」には、“上画面”および“下画面”が設定されており、また、上画面でスキャンした結果得られるスキャンデータは上画面に表示し、下画面でスキャンした結果得られるスキャンデータは下画面に表示するように、スキャンパターン記憶部２２２の「スキャンデータ表示面」が設定されているものとする。また、ユーザに提示するメッセージは、上画面に表示するものとする。

まず、図１（ａ）は、下画面に載置領域Ｒ１を表示するとともに、上画面にメッセージＭ１を表示している様子を示す図である。上記表示を行うために、まず、載置領域情報提示部１２２は、載置領域Ｒ１を表すための所定のパターン画像を含む表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、載置領域情報提示部１２２は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドを、データ処理部７００に送信する。

さらに、載置領域情報提示部１２２は、メッセージＭ１を含む表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、載置領域情報提示部１２２は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドを、データ処理部７００に送信する。

次に、図１（ｂ）は、対象物である文書Ｐ２および文書Ｐ３が置かれた様子を示す図である。ここでは、データ表示／センサ装置１００は、載置領域Ｒ１内に文書Ｐ２または文書Ｐ３の少なくとも一方が置かれたことを検出すると、上画面のセンサ内蔵液晶パネル３０１に新たなメッセージＭ２を表示する。

まず、上記検出を行うために、対象物有無判定部１２３は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部７００に送信する。なお、座標データおよび部分画像データ（部分画像における座標データを含む）の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する（“011”を指定する）。

そして、対象物がセンサ内蔵液晶パネル３０１上に置かれたとき、光センサ回路３２が、対象物の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７００がセンサ制御部６０２から受信する画像データに変化が生じる。

したがって、データ処理部７００は、上述したコマンドの応答として、座標データまたは部分画像データ（部分画像における座標データを含む）を対象物有無判定部１２３に送信する。

そして、対象物有無判定部１２３は、データ処理部７００から、座標データ、または、対象物の領域を示す部分画像データを受信したとき、当該部分画像データが、載置領域内に位置するものであるか否かを調べることによって、対象物が載置領域に置かれたか否かを判定することができる。

次に、対象物が載置領域に置かれたことを検出すると、対象物有無判定部１２３は、メッセージＭ２を含む表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、対象物有無判定部１２３は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部７００に送信する。

次に、図１（ｃ）は、データ表示／センサ装置１００の筐体が閉じられた様子を示す図である。

筐体が閉じられると、スキャン実行指示部１３２が、両面スキャンを実行する旨をデータ処理部７００に指示するために、「スキャン方式」フィールドおよび「スキャンパネル」フィールドを指定したコマンドを生成し、該生成したコマンドをデータ処理部７００に送信する。なお、スキャン実行指示部１３２は、スキャンパターン記憶部２２２から読み出したスキャンパターン情報に含まれるスキャン実行面情報に基づいて、「スキャンパネル」フィールドの値を指定する。ここでは、“上画面”および“下画面”を示す“011”を指定する。また、「スキャン方式」フィールドには、“反射”を指定する。

さらに、スキャン実行指示部１３２は、データ処理部７００から、スキャンの実行結果として全体画像データを取得するために、上記コマンドの「データ取得タイミング」フィールドに“センス”を指定し、「データ種別」フィールドに“全体画像”を指定する。これにより、スキャンした結果として、光センサ回路３２からセンサ制御部６０２を介して得られる画像データの全体を、データ処理部７００から取得することができる。ここでは、上画面でスキャンした結果として得られる画像データと、下画面でスキャンした結果として得られる画像データとを取得することができる。

なお、スキャンデータ抽出部１３３は、上記取得した全体画像データからスキャンデータを抽出する。ここでは、上画面をスキャンして得られた全体画像データから、文書Ｐ２のスキャンデータＳＣＤ２１、および、文書Ｐ３のスキャンデータＳＣＤ３１を抽出するとともに、下画面をスキャンして得られた全体画像データから、文書Ｐ２のスキャンデータＳＣＤ２２、および、文書Ｐ３のスキャンデータＳＣＤ３２を抽出する。

このとき、さらに、グループ化処理部１３４が、スキャンデータＳＣＤ２１とスキャンデータＳＣＤ２２との対応付け、および、スキャンデータＳＣＤ３１とスキャンデータＳＣＤ３２との対応付けを行う。

次に、図１（ｄ）は、スキャンを実行した後、データ表示／センサ装置１００の筐体が開かれた様子を示す図である。ここでは、上画面に、メッセージＭ３を表示するとともに、上画面にスキャンデータＳＣＤ２１およびスキャンデータＳＣＤ３１を表示し、下画面にスキャンデータＳＣＤ２２およびスキャンデータＳＣＤ３２を表示している。さらに、スキャンデータＳＣＤ２１とスキャンデータＳＣＤ２２とが対応付けられることを示す線Ｔ５２および線Ｔ６２を表示している。また、スキャンデータＳＣＤ３１とスキャンデータＳＣＤ３２とが対応付けられることを示す線Ｔ５３および線Ｔ６３を表示している。

筐体が開かれると、スキャンデータ表示指示部１３５は、メッセージＭ３を含む表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、スキャン実行指示部１３２は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部７００に送信する。

さらに、スキャンデータ表示指示部１３５は、スキャンデータＳＣＤ２１、スキャンデータＳＣＤ３１、線Ｔ５２、および線Ｔ５３を図示の位置に表示させる表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、スキャンデータ表示指示部１３５は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部７００に送信する。このとき、スキャンデータ表示指示部１３５は、スキャンパターン記憶部２２２の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。

また、スキャンデータ表示指示部１３５は、スキャンデータＳＣＤ２２、スキャンデータＳＣＤ３２、線Ｔ６２、および線Ｔ６３を図示の位置に表示させる表示データを生成し、該生成した表示データをデータ処理部７００に送信する。併せて、スキャンデータ表示指示部１３５は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部７００に送信する。このとき、スキャンデータ表示指示部１３５は、スキャンパターン記憶部２２２の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。

なお、線Ｔ５２は、例えば、スキャンデータＳＣＤ２１の中心座標とスキャンデータＳＣＤ２２の中心座標とを結ぶ、表示／光センサ部３００の表面上の直線のうち、スキャンデータＳＣＤ２１の輪郭から上画面の表示枠までの部分として算出することができる。同様に、線Ｔ６２は、例えば、スキャンデータＳＣＤ２１の中心座標とスキャンデータＳＣＤ２２の中心座標とを結ぶ、表示／光センサ部３００の表面上の直線のうち、スキャンデータＳＣＤ２２の輪郭から下画面の表示枠までの部分として算出することができる。

（データ表示／センサ装置における処理の流れ）
次に、図１１から図１２を参照しながら、データ表示／センサ装置１００において、スキャン処理を行う際の処理の流れについて説明する。まず、図１１は、データ表示／センサ装置１００において、データ表示／センサ装置１００の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。

まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザがデータ表示／センサ装置１００の筐体を開くと（ステップＳ１１）、例えば、筐体が開いたことをヒンジ部スイッチ９０４が検出し、データ表示／センサ装置１００の電源をオンにする（ステップＳ１２）。他の操作によって電源がオンとなってもよい。

そして、メニュー表示制御部１１が、ユーザ選択可能なメニューを、少なくとも一方のセンサ内蔵液晶パネル３０１に表示させる（ステップＳ１３）。

そして、ユーザのメニュー操作を受け付け（ステップＳ１４）、メニュー操作に応じた処理を行う。ここでは、ユーザが、表示されているメニューのうち、“画像スキャン”、“画像表示”、および“アドレス帳表示”というメニュー項目のいずれかを選択することを想定したフローを記載している。“画像スキャン”を選択した場合の処理の流れは、後述する。“アドレス帳表示”を選択した場合は、記憶部９０１に記憶しているアドレス帳を表示し（ステップＳ１５）、“画像表示”を選択した場合は、記憶部９０１に記憶している画像データを表示するが（ステップＳ１６）、それ以降の処理の流れについては発明の本質的部分ではないので、説明を省略する。

次に、図１２は、データ表示／センサ装置１００におけるスキャン処理の流れを示すフローチャートである。なお、図１１で示したフローチャートにおけるステップＳ１４にて“画像スキャン”を選択した場合には、図１２で示すフローチャートで示される処理が開始される。

まず、載置領域情報提示部１２２により、センサ内蔵液晶パネル３０１に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる（ステップＳ２１）。

次に、ユーザが対象物を載置領域に置くと（ステップＳ２２）、対象物有無判定部１２３が、載置領域に対象物が置かれたことを判定する（ステップＳ２３にてＹＥＳ）。

そして、対象物有無判定部１２３は、筐体を閉じる旨をユーザに促す旨のメッセージを、センサ内蔵液晶パネル３０１に表示させる（ステップＳ２４）。

次に、ユーザが、データ表示／センサ装置１００の筐体を閉じると（ステップＳ２５）、例えば、ヒンジ部スイッチ９０４が、筐体を閉じたことを検出し（ステップＳ２６にＹＥＳ）、その旨をスキャン実行部１３１に通知する。そして、スキャン実行指示部１３２が、センサ内蔵液晶パネル３０１にスキャンを実行させる。

そして、データ処理部７００がセンサ制御部６０２を介して光センサ回路３２にスキャンを実行させ（ステップＳ２７）、その結果得られる画像データを、スキャン実行部１３１に送信する。そして、スキャンデータ抽出部１３３が、上記画像データからスキャンデータを抽出する（ステップＳ２８）。

ここで、両面スキャンが行われているときは、グループ化処理部１３４が、１つの対象物から得られる２つのスキャンデータ（具体的には、上画面でスキャンした結果として得られるスキャンデータ、および、下画面でスキャンした結果として得られるスキャンデータ）を対応付ける処理を行う（ステップＳ２９）。

そして、スキャンデータ抽出部１３３は、スキャンデータをスキャンデータ保持部１３６に一次保持する（ステップＳ３０）。なお、グループ化処理部１３４が、スキャンデータの対応付けを行っている場合、スキャンデータ抽出部１３３は、上記対応付けた状態を保持したまま、スキャンデータ保持部１３６に一次保存する。

その後、スキャン実行部１３１は、スキャンが終了した旨をユーザに通知する（ステップＳ３１）。ここでは、音声出力部９０８に所定の音声データを出力し、音声によりユーザに通知する。

そして、ユーザが、データ表示／センサ装置１００の筐体を開くと（ステップＳ３２）、例えば、ヒンジ部スイッチ９０４が、筐体を開いたことを検出し（ステップＳ３３にＹＥＳ）、その旨をスキャン実行部１３１に通知する。そして、スキャンデータ表示指示部１３５が、スキャンが完了したことをユーザに通知する旨のメッセージを、センサ内蔵液晶パネル３０１に表示させる（ステップＳ３４）。

そして、スキャンデータ表示指示部１３５が、スキャンデータ保持部１３６に保持しているスキャンデータを表示させる（ステップＳ３５）。これにより、ユーザが、センサ内蔵液晶パネル３０１にてスキャンデータを確認することができる。なお、スキャンデータ同士が対応付けられている場合は、当該対応付けがユーザに視認できるように、当該対応付けを示す情報を、スキャンデータに付して表示させることが望ましい。

次に、スキャン処理部１２が、スキャンモード記憶部２２３に記憶されているスキャンモード情報を参照することによって、スキャンを連続的に実行することがわかると（ステップＳ３６にてＹＥＳ）、スキャンデータ格納部１３７は、スキャンデータ保持部１３６に一次保存されているスキャンデータを、画像データ記憶部２３に格納する（ステップＳ３７）。なお、スキャンデータが対応付けられた状態でスキャンデータ保持部１３６に一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部２３に格納する。

そして、続いて新たなスキャンを行うために、センサ内蔵液晶パネル３０１に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる（ステップＳ２１）。

一方、スキャンを連続的に実行しないことがわかると（ステップＳ３６にてＮＯ）、ユーザの操作を受け付け（ステップＳ３８）、受け付けた操作に応じた処理を行う。例えば、ユーザが、表示されているメニューのうち、“表示位置変更”、“回転”、“保存”、および“文字認識”というメニュー項目のいずれかを選択することを想定したフローを記載している。

“表示位置変更”または“回転”を選択した場合は、それぞれ、スキャンデータの表示位置を変更する処理（ステップＳ３９）、および、スキャンデータの表示を例えば９０度左回転させて表示する処理（ステップＳ４０）を行い、再びユーザのメニュー操作を受け付ける（ステップＳ３８）。

また、“保存”を選択した場合は、スキャンデータ格納部１３７が、スキャンデータ保持部１３６に一次保存されているスキャンデータを、画像データ記憶部２３に格納し（ステップＳ４１）、処理を終了する。

また、“文字認識”を選択した場合は、表示しているスキャンデータに対して文字認識処理を実行する（ステップＳ４２）。文字認識処理は、発明の本質的部分ではないので、ここでは詳細な説明は省略するが、文字認識処理では、スキャンデータに含まれる文字を認識し、文字データを生成し、該生成した文字データを記憶部９０１に記憶する。また、名前、電話番号、住所などを関連付けて管理する、アドレス帳などのアプリケーションで用いられるデータ構造の形式で、上記文字データを記憶部９０１に記憶させてもよい。

（片面／両面スキャンの実行例）
次に、図１３から図１８を参照しながら、データ表示／センサ装置１００を用いて、複数の対象物をスキャンする例について説明する。

まず、各例で共通に用いる対象物である名刺Ｐ４およびＰ５について説明する。図１３（ａ）は、対象物である名刺Ｐ４の表面を示した図である。図示のように、名刺Ｐ４の表面には、日本語で「奈良県 南田」と表記されている。また、図１３（ｂ）は、対象物である名刺Ｐ４の裏面（Ｐ４’）を示した図である。図示のように、名刺Ｐ４の裏面には、英語で「Ｎａｒａ ｐｒｅｆｅｃｔｕｒｅ ＭＩＮＡＭＩＤＡ」と表記されている。

次に、図１３（ｃ）は、対象物である名刺Ｐ５の表面を示した図である。図示のように、名刺Ｐ５の表面には、日本語で「大阪府 Ａ子」と表記されている。また、図１３（ｂ）は、対象物である名刺Ｐ５の裏面（Ｐ５’）を示した図である。図示のように、名刺Ｐ５の裏面には、英語で「Ｏｓａｋａ ｐｒｅｆｅｃｔｕｒｅ Ａ ｋｏ」と表記されている。

以降では、この名刺Ｐ４およびＰ５を、データ表示／センサ装置１００を用いてスキャンする例を説明する。図１４は、下画面のセンサ内蔵液晶パネルに表示された載置領域Ｒ１内に、名刺Ｐ４およびＰ５を、表面がユーザに見える状態で置いた様子を示す図である。この状態から、ユーザが、データ表示／センサ装置１００の筐体を閉めて、スキャン処理部１２にスキャンを実行させるものとする。

また、各例で実行するスキャンおよびスキャンデータの表示が可能なように、スキャンパターン記憶部２２２に記憶するスキャンパターン情報を、スキャン属性情報設定部１３８を介して予め設定しておくものとする。

（例１）
まず、名刺Ｐ４およびＰ５の片面をスキャンする例を１つ説明する。名刺Ｐ４およびＰ５の表面をデータ表示／センサ装置１００の上画面でスキャンし、スキャンの結果として得られるスキャンデータをデータ表示／センサ装置１００の上画面に表示する場合について説明する。

図１５は、上記スキャンを実行した後、ユーザが、データ表示／センサ装置１００の筐体を開いた様子を示す図である。図示のとおり、スキャン処理部１２によって、上画面でスキャンされた名刺Ｐ４の表面のスキャンデータＳＣＤ４１、および、名刺Ｐ５の表面のスキャンデータＳＣＤ５１が、上画面のセンサ内蔵液晶パネルに、並べて表示されている。

なお、この例では、上画面で名刺Ｐ４および名刺Ｐ５をそれぞれスキャンを実行した位置に、スキャンデータＳＣＤ４１およびスキャンデータＳＣＤ５１が表示されている。このように、スキャン位置にスキャンデータを表示することにより、ユーザにわかりやすく、ユーザの利便性が向上する。

（例２−１）
次に、名刺Ｐ４およびＰ５の両面をスキャンする例を２つ説明する。１つ目の例では、名刺Ｐ４およびＰ５の表面をデータ表示／センサ装置１００の上画面でスキャンするとともに、名刺Ｐ４およびＰ５の裏面をデータ表示／センサ装置１００の下画面でスキャンし、スキャンの結果として得られるスキャンデータを、データ表示／センサ装置１００の上画面に同時に表示する場合について説明する。

図１６は、上記スキャンを実行した後、ユーザが、データ表示／センサ装置１００の筐体を開いた様子を示す図である。図示のとおり、スキャン処理部１２によって、上画面でスキャンされた名刺Ｐ４の表面のスキャンデータＳＣＤ４１および名刺Ｐ５の表面のスキャンデータＳＣＤ５１、並びに、下画面でスキャンされた名刺Ｐ４の裏面のスキャンデータＳＣＤ４２および名刺Ｐ５の裏面のスキャンデータＳＣＤ５２が、上画面に並べて表示されている。

さらに、スキャンデータＳＣＤ４１およびスキャンデータＳＣＤ４２は、いずれも名刺Ｐ４のスキャンデータであり、対応付けられるべきものであるため、対応付けを示す情報として、スキャンデータＳＣＤ４１とスキャンデータＳＣＤ４２との間を連結する線Ｔ１１が表示されている。線Ｔ１１は、例えば、スキャンデータＳＣＤ４１の中心座標とスキャンデータＳＣＤ４２の中心座標とを結ぶ直線のうち、スキャンデータＳＣＤ４１の輪郭からスキャンデータＳＣＤ４２の輪郭までの部分として算出することができる。なお、線Ｔ１１は、スキャンデータＳＣＤ４１とスキャンデータＳＣＤ４２とを連結する線であればよく、線の種別（直線／曲線／二重線など）は限定されない。

同様に、スキャンデータＳＣＤ５１およびスキャンデータＳＣＤ５２は、いずれも名刺Ｐ５のスキャンデータであり、対応付けられるべきものであるため、対応付けを示す情報として、スキャンデータＳＣＤ５１とスキャンデータＳＣＤ５２との間を連結する線Ｔ１２が表示されている。

このように、複数の対象物をスキャンしたとき、各対象物の表面のスキャンデータと裏面のスキャンデータとを対応付けた状態で表示することにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。

（例２−２）
１つ目の例では、スキャンデータをすべて上画面に表示させたが、上画面と下画面とに分けて表示させてもよい。そこで、名刺Ｐ４およびＰ５の表面をデータ表示／センサ装置１００の上画面でスキャンするとともに、名刺Ｐ４およびＰ５の裏面をデータ表示／センサ装置１００の下画面でスキャンし、表面のスキャンデータを、データ表示／センサ装置１００の上画面に表示するとともに、裏面のスキャンデータを、データ表示／センサ装置１００の下画面に表示する例について説明する。

図１７は、上記スキャンを実行した後、ユーザが、データ表示／センサ装置１００の筐体を開いた様子を示す図である。なお、下画面に置いていた名刺Ｐ４およびＰ５は、下画面から取り除いている。図示のとおり、スキャン処理部１２によって、名刺Ｐ４の表面のスキャンデータＳＣＤ４１、および、名刺Ｐ５の表面のスキャンデータＳＣＤ５１が、上画面に表示されている。また、名刺Ｐ４の裏面のスキャンデータＳＣＤ４２、および、名刺Ｐ５の裏面のスキャンデータＳＣＤ５２が、下画面に表示されている。

さらに、スキャンデータＳＣＤ４１とスキャンデータＳＣＤ４２との対応付けを示す情報として、上画面に線Ｔ２１が、下画面に線Ｔ３１が表示されている。同様に、スキャンデータＳＣＤ５１とスキャンデータＳＣＤ５２との対応付けを示す情報として、上画面に線Ｔ２２が、下画面に線Ｔ３２が表示されている。

この場合、スキャンデータＳＣＤ４１とスキャンデータＳＣＤ４２とは、線Ｔ２１および線Ｔ３１によって直接連結することはできないが、あたかも連結しているようにユーザに思わせるように、線Ｔ２１と線Ｔ３１とを表示させることが望ましい。線Ｔ２３と線Ｔ３３とについても同様である。

なお、線Ｔ２１は、例えば、スキャンデータＳＣＤ４１の中心座標とスキャンデータＳＣＤ４２の中心座標とを結ぶ、表示／光センサ部３００の表面上の直線のうち、スキャンデータＳＣＤ４１の輪郭から上画面の表示枠までの部分として算出することができる。同様に、線Ｔ３１は、例えば、スキャンデータＳＣＤ４１の中心座標とスキャンデータＳＣＤ４２の中心座標とを結ぶ直線のうち、スキャンデータＳＣＤ４２の輪郭から下画面の表示枠までの部分として算出することができる。

なお、この例では、上画面で名刺Ｐ４および名刺Ｐ５をスキャンを実行した位置のそれぞれに、スキャンデータＳＣＤ４１およびスキャンデータＳＣＤ５１が表示され、また、下画面で名刺Ｐ４および名刺Ｐ５スキャンを実行した位置のそれぞれに、スキャンデータＳＣＤ４２およびスキャンデータＳＣＤ５２が表示されている。このように、スキャン位置にスキャンデータを表示することにより、どの対象物に対するスキャンデータであるかがユーザにわかりやすく、ユーザの利便性が向上する。

さらに、ユーザ操作により、スキャンデータの表示位置を変更してもよい。図１８は、図１７に示す表示状態において、ユーザ操作により、スキャンデータの表示位置を変更した様子を示す図である。

図示のとおり、スキャンデータＳＣＤ４１およびスキャンデータＳＣＤ４２が、上画面に表示されている。また、スキャンデータＳＣＤ５１およびスキャンデータＳＣＤ５２が、下画面に表示されている。さらに、スキャンデータＳＣＤ４１とスキャンデータＳＣＤ４２との対応付けを示す情報として、上画面に線Ｔ４１が表示されている。同様に、スキャンデータＳＣＤ５１とスキャンデータＳＣＤ５２との対応付けを示す情報として、下画面に線Ｔ４２が表示されている。

このように、表面のスキャンデータと裏面のスキャンデータとを並べて同時に表示することにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。

なお、上記ユーザ操作は、図示していないメニューやスイッチをタッチ等したり、スキャンデータを直接タッチ等することにより行われるものとする。

また、下画面に置かれた対象物の表面を上画面でスキャンした結果として得られるスキャンデータを、そのまま表示すると、通常は、上下が逆の状態で表示されることとなる。そこで、図１５から図１８に示したとおり、１８０度回転させた状態でスキャンデータＳＣＤ４１およびスキャンデータＳＣＤ５１を表示し、名刺Ｐ４の向きおよびスキャンデータＳＣＤ４１の向き、並びに、名刺Ｐ５の向きおよびスキャンデータＳＣＤ５１の向きを同じ方向にしている。これにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。

（付記事項）
上述では、データ表示／センサ装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。

最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、データの表示処理およびスキャン処理を行う装置に適用できる。特に、２枚のセンサ内蔵液晶パネルが互いに向き合う筐体を備えるデータ表示／センサ装置に好適に適用できる。

図１（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。図１（ｂ）は、対象物である文書が、本発明の一実施形態に係るデータ表示／センサ装置に置かれた様子を示す図である。図１（ｃ）は、図１（ｂ）で示す状態から、データ表示／センサ装置の筐体が閉じられた様子を示す図である。図１（ｄ）は、図１（ｃ）で示す状態においてスキャンが実行された後、データ表示／センサ装置の筐体が開かれた様子を示す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を示す模式図である。 図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を示す模式図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を示す説明図である。 図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置の筐体を開いた様子を示す説明図である。図９（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置の筐体を閉じた様子を示す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置の詳細構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置おいて、データ表示／センサ装置の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。 本発明の一実施形態に係るデータ表示／センサ装置におけるスキャン処理の流れを示すフローチャートである。 図１３（ａ）は、対象物である名刺の表面を示した図である。図１３（ｂ）は、対象物である名刺の裏面を示した説明図である。図１３（ｃ）は、対象物である他の名刺の表面を示した図である。図１３（ｄ）は、対象物である他の名刺の裏面を示した説明図である。 本発明の一実施形態に係るデータ表示／センサ装置の第２表示／光センサ部のセンサ内蔵液晶パネル上に表示された載置領域内に２つの名刺を置いた様子を示す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置にて片面スキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置にて両面スキャンを実行した後、ユーザが、当該装置の筐体を開いた他の様子を示す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置にて両面スキャンを実行した後、ユーザが、当該装置の筐体を開いた他の様子を示す説明図である。 図１７に示すスキャンデータの表示位置を変更した様子を示す説明図である。

符号の説明

２３ 画像データ記憶部（記憶部）
１００ データ表示／センサ装置（画像表示／像検知装置）
１２３ 対象物有無判定部
１３１ スキャン実行部
１３２ スキャン実行指示部
１３３ スキャンデータ抽出部
１３４ グループ化処理部
１３５ スキャンデータ表示指示部
１３７ スキャンデータ格納部（検知画像格納部）
１３８ スキャン属性情報設定部
２２２ スキャンパターン記憶部
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（第１面状部材、第２面状部材）
３０１Ａ センサ内蔵液晶パネル（第１面状部材または第２面状部材）
３０１Ｂ センサ内蔵液晶パネル（第１面状部材または第２面状部材）
Ｐ１ 文書（対象物）
Ｐ２ 文書（対象物）
Ｐ３ 文書（対象物）
Ｐ４ 名刺（対象物）
Ｐ５ 名刺（対象物）

Claims (5)

1. ２つ折りに折り畳み可能な筐体を有し、
   上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、
   上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、
   上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、
   上記第１面状部材および上記第２面状部材の少なくとも一方は、上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて表示することを特徴とする画像表示／像検知装置。
2. 上記第１面状部材は、該第１面状部材にて検知した上記１または複数の対象物の像の画像を表示し、
   上記第２面状部材は、該第２面状部材にて検知した上記１または複数の対象物の像の画像を表示することを特徴とする請求項１に記載の画像表示／像検知装置。
3. 上記第１面状部材および上記第２面状部材は、上記第１面状部材にて検知した上記１または複数の対象物の像の各画像および上記第２面状部材にて検知した上記１または複数の対象物の像の各画像に付して、上記対応付けを示す情報を表示することを特徴とする請求項１または２に記載の画像表示／像検知装置。
4. 上記対応付けを示す情報は、上記第１面状部材にて検知した上記対象物の像の画像と、上記第２面状部材にて検知した対象物の像の画像とを連結する線であることを特徴とする請求項１から３のいずれか１項に記載の画像表示／像検知装置。
5. ２つ折りに折り畳み可能な筐体を有し、
   上記筐体を折り畳んだ状態で対向する２つの内面には、一方の内面に、画像を表示するとともに近傍の像を検知する第１面状部材が、他方の内面に、画像を表示するとともに近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設され、
   上記第１面状部材は、上記筐体を折り畳んだ状態で、１または複数の対象物の像を検知し、
   上記第２面状部材は、上記筐体を折り畳んだ状態で、上記第１面状部材にて上記１または複数の対象物を検知した領域と対向する各領域で、上記１または複数の対象物の像を検知するとともに、
   上記第１面状部材にて検知した上記１または複数の対象物の像の画像と、上記第２面状部材にて検知した上記１または複数の対象物の像の画像とを、上記対象物毎にそれぞれ対応付けて記憶部に格納する検知画像格納部を備えることを特徴とする画像表示／像検知装置。

Images