JP2010123082A - 表示装置、表示装置の制御方法、表示装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】操作と処理との対応が容易に認識でき、処理前のデータと処理後のデータとを連続して把握できる。
【解決手段】本発明のデータ表示／センサ装置１００は、処理前データおよび該処理前データに処理を施した処理後データを取得する表示決定部１３２と、一つの表示範囲３０３を、ユーザの指示に基づいて、隣接した２つの表示領域の一方である第１の表示領域から、他方の第２の表示領域へ移動させる表示位置決定部１４２と、表示範囲３０３の第１の表示領域に含まれる部分には処理前データを表示するとともに、表示範囲３０３が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、表示範囲３０３の第２の表示領域に含まれる部分には、当該部分に表示されていた処理前データに対応する処理後データを表示させる表示決定部１３２と、を備えている。
【選択図】図１

Description

本発明は、データ処理を行った結果を画面に表示する表示装置、表示装置の制御方法、表示装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

従来から、画像に対しモザイクをかけたり、カラー画像を白黒画像（またはその逆）にしたりする等、画像に対し何らかの処理を施す画像処理が行われている。これは、例えば、パーソナルコンピュータの画面上で、画像処理を実行するための特定のボタンをクリックしたり、メニューから特定の処理を選択したりすることにより行なわれる。

そして、画面には、処理後の画像のみが表示されたり、処理前の画像と該画像に対して処理を行った後の画像である処理後の画像とが並べて表示されたりする。

また、特定のボタンをクリックしたり、メニューから特定の処理を選択することで、画像の処理ではなく、ある言語のテキストデータを別の言語のテキストデータに翻訳する翻訳処理を行うことができるものもある。

また、独立する２つの画面を備えた装置において、第１の画面における第１の入力の終了から第２の画面における第２の入力の開始までの時間が、所定の時間内であるときに第１の入力と第２の入力とを連続した一つの入力として認識する装置が特許文献１に記載されている。
特開平１１−７３２６９号公報（１９９９年３月１６日公開）

しかしながら、上記従来の構成は、データ全体の処理結果が表示されるか、処理前の画像と該画像に対して処理を行った後の画像である処理後の画像とが並べて表示されるので、処理前のデータと処理後のデータとを連続して把握することが難しい。

また、ボタン等をクリックすることで処理が実行され、結果が表示されるだけのものなので、処理前と処理後とを一連の流れとしてユーザに認識させることが難しい。

さらに、操作と処理との対応が、容易に認識できないので、操作に慣れていないユーザにとっては、必ずしも操作しやすいとはいえない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが、操作と処理との対応が容易に認識でき、処理前のデータと処理後のデータとを連続して把握できる表示装置等を実現することにある。

上記課題を解決するために、本発明に係る表示装置は、隣接した２つの表示領域を備え、該隣接した２つの表示領域で１画面のように表示する表示装置であって、処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得手段と、一つの表示範囲を、ユーザの指示に基づいて、上記隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動手段と、上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示合成手段と、を備えていることを特徴としている。

また、本発明に係る表示装置の制御方法は、隣接した２つの表示領域を備え、該隣接した２つの表示領域で１画面のように表示する表示装置の制御方法であって、処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得ステップと、一つの表示範囲を、ユーザの指示に基づいて、上記隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動ステップと、上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示合成ステップと、を含むことを特徴としている。

上記の構成および方法によれば、一つの表示範囲が、ユーザの指示に基づいて、隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動される。そして、上記表示範囲の上記第１の表示領域に含まれる部分には処理前データが表示され、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する処理後データが表示される。

これにより、ユーザが、表示範囲のうち、第１の表示領域に表示されている部分を、第２の表示領域に移動させていくと、第１の表示領域に、データ処理が行われていない状態で表示されていた部分が、第２の表示領域で、データ処理が行われた状態で表示される。

よって、ユーザは、隣接した２つ表示領域で、データ処理が行われていない部分とデータ処理が行われた部分とを、一連の連続した表示状態で認識することができる。

そして、ユーザは、上記第１の表示領域から上記第２の表示領域へ表示範囲を移動させることで、データ処理が行われたように認識することができる。したがって、ユーザはデータ処理前と処理後とを一連の流れとして認識することができ、かつ、表示範囲を、隣接している第１の表示領域と第２の表示領域との境界を通過させるとデータ処理が行われるという直感的・感覚的な操作感を得ることができる。また、表示範囲を移動させるだけでデータ処理の結果が表示されるので、データ処理に慣れていないユーザであっても、操作と処理との対応を容易に認識でき、容易な操作でデータ処理を実行することができる。

例えば、処理対象となるデータが画像データで、データ処理としてモザイク処理を行う場合を考える。ユーザが、第１の表示領域に表示されている、モザイク処理されていない画像データを、第２の表示領域へ移動させていくと、第１の表示領域に表示されていた画像データのうち、第２の表示領域へ移動した部分は、モザイク処理された状態で、第２の表示領域に表示される。

これにより、ユーザは、モザイク処理された部分とされていない部分とを連続して把握できる。

また、ユーザは、表示されている画像データを第１の表示領域から第２の表示領域へ移動させることで、第２の表示領域に移動した部分に対し、モザイク処理が行われた状態を認識することができるので、モザイク処理の処理前と処理後とを一連の流れとして認識できる。

さらに、表示されている画像データを第１の表示領域と第２の表示領域との境界を通過させるとモザイク処理が実行されるにようにユーザには認識できるので、直感的・感覚的な操作感を得ることができる、かつ、データ処理の操作に慣れていないユーザであっても容易に操作を行うことができる。

本発明に係る表示装置では、表示と、ユーザによる接触の検知とを行う面状部材を備え、上記面状部材には上記隣接した２つの表示領域が設定されており、上記面状部材が、上記隣接した２つの表示領域における上記表示範囲への接触、および上記第１の表示領域から上記第２の表示領域への方向への当該接触の移動を検知したとき、上記表示範囲移動手段は、表示範囲を該移動に応じて、上記第１の表示領域から上記第２の表示領域の方向へ移動させるものであってもよい。

上記の構成では、表示と、ユーザによる接触の検知とを行う面状部材が備えられるとともに、該面状部材に上記隣接した２つの表示領域が設定されている。そして、上記の構成によれば、上記面状部材が、表示範囲への接触、および上記第１の表示領域から上記第２の表示領域への方向への当該接触の移動を検知したとき、表示範囲移動手段は、表示範囲を該移動に応じて、上記第１の表示領域から上記第２の表示領域の方向へ移動させる。

これにより、ユーザが、表示領域上に表示されているデータの表示範囲にタッチ（接触）し、そのまま第１の表示領域から第２の表示領域の方向へ移動させると、表示範囲も該移動に応じて、第１の表示領域から第２の表示領域の方向へ移動する。よって、ユーザは、表示範囲にタッチして、そのまま移動させるのみで、表示範囲を移動させることができる。

そして、表示範囲を移動させることにより、表示範囲が第１の表示領域から第２の表示領域に移動すると、第２の表示領域に移動した部分は、データ処理が行われた状態で表示される。

よって、ユーザは、第１の表示領域に表示されているデータの表示範囲をタッチしながら第２の表示領域に移動させるのみで、第１の表示領域に表示されていた部分のうち、第２の表示領域に移動した部分に対してデータ処理が行われた状態を認識することができる。

本発明に係る表示装置では、上記データ処理が処理前のテキストデータを処理後のテキストデータへ翻訳する処理であって、翻訳後の言語が複数設定されており、上記第１の表示領域と上記第２の表示領域との境界には、上記複数の翻訳後の言語のそれぞれに対応付けられた複数の区画が、上記境界の幅方向に互いに重複することなく分散して設定されており、上記面状部材が上記隣接した２つの表示領域における上記境界の近傍への接触を検知したとき、上記データ取得手段は、当該接触の位置に最も近い上記区画に対応付けられた翻訳後の言語に翻訳されたテキストデータを取得するものであってもよい。

上記の構成によれば、データ処理が処理前のテキストデータを処理後のテキストデータへ翻訳する処理であって、翻訳後の言語として複数の言語が設定される。そして、第１の表示領域と第２の表示領域との境界には、上記複数の翻訳後の言語のそれぞれに対応付けられた複数の区画が、上記境界の幅方向に互いに重複することなく分散して設定される。そして、面状部材が上記隣接した２つの表示領域における上記境界の近傍への接触を検知したとき、データ取得手段は、当該接触の位置に最も近い上記区画に対応付けられた翻訳後の言語による処理後のテキストデータを取得する。

これにより、隣接した２つの表示領域における上記境界の近傍への接触によって、翻訳後の言語が決定されるので、ユーザは、指等で、境界の近傍へタッチすることによって翻訳言語を決定することができる。よって、ユーザは、容易に翻訳言語を決定できる。

また、ユーザが、指等でタッチしたまた指を境界の近傍へ移動させた場合、該境界の近傍における接触位置と最も近い距離にある区画に割り当てられた言語に、翻訳後の言語が決定されるので、ユーザは、より直感的に翻訳後の言語を決定することができる。

例えば、第１の表示領域と第２の表示領域との境界を３つの区画に分散して、それぞれを左部分、中央部分、右部分として、左部分には英語、中央部分にはフランス語、右部分には中国語を翻訳後の言語として割り当てた場合を考える。この場合において、ユーザが境界の右よりにタッチをすると、境界の近傍であるタッチした位置は、上記境界の右部分と最も近い距離にあるので、翻訳後の言語として中国語が決定される。

本発明に係る表示装置では、上記面状部材は、画像を表示すると共に、近傍の像を検知することで接触を検知するものであってもよい。

そして、画像を表示する共に、近傍の像を検知する面状部材の例としては、例えば、光センサ液晶を挙げることができる。

なお、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る表示装置は、処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得手段と、一つの表示範囲を、ユーザの指示に基づいて、隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動手段と、上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示制御手段と、を備えている構成である。

また、本発明に係る表示装置の制御方法は、処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得ステップと、一つの表示範囲を、ユーザの指示に基づいて、隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動ステップと、上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示制御ステップと、を含む方法である。

これにより、ユーザが、表示範囲のうち、第１の表示領域に表示されている部分を、第２の表示領域に移動させていくと、第１の表示領域に、データ処理が行われていない状態で表示されていた部分が、第２の表示領域で、データ処理が行われた状態で表示される。

よって、ユーザは、隣接した２つ表示領域で、データ処理が行われていない部分とデータ処理が行われた部分とを、データ処理が行われていない部分とデータ処理が行われた部分とが一連の連続した表示状態で認識することができる。

そして、ユーザは、上記第１の表示領域から上記第２の表示領域へ表示範囲を移動させることで、データ処理が行われたように認識することができる。したがって、ユーザはデータ処理前と処理後とを一連の流れとして認識することができ、かつ、表示範囲を、隣接している第１の表示領域と第２の表示領域との境界を通過させるとデータ処理が行われるという直感的・感覚的な操作感を得ることができる。また、表示範囲を移動させるだけでデータ処理の結果が表示されるので、データ処理に慣れていないユーザであっても、操作と処理との対応を容易に認識でき、容易な操作でデータ処理を実行することができる。

本発明の一実施の形態について図１から図１６に基づいて説明すれば、以下のとおりである。本実施の形態に係るデータ表示／センサ装置（表示装置）１００は、隣接した２つのセンサ内蔵液晶パネル（面状部材）３０１（３０１Ａ、３０１Ｂ）を備え、該２つのセンサ内蔵液晶パネル３０１で１つの画面のように表示させることが可能である。

そして、データ表示／センサ装置１００は、上記２つのセンサ内蔵液晶パネル３０１の一方（液晶パネルＡとする）に表示させた表示範囲３０３を、他方のセンサ内蔵液晶パネル３０１（液晶パネルＢとする）にも表示されるように移動すると、液晶パネルＢの表示範囲３０３には、データを処理した後のデータである処理後データが表示するものである。

よって、ユーザは、液晶パネルＡに表示されている表示範囲３０３を隣接した液晶パネルＢに移動させるのみで、実行された処理の結果を認識することができる。そして、ユーザは、表示範囲３０３が、液晶パネルＡから液晶パネルＢに移動すること、すなわち、表示範囲３０３が液晶パネルＡと液晶パネルＢとの境界を通過すると、処理が実行されているように認識できるので、一連の連続した表示状態を認識することができる。

また、ユーザは、表示範囲３０３の移動と処理との対応が容易に認識できるので、操作に慣れていないユーザであっても、直感的に操作することで処理を実行することができる。

なお、ここでデータの処理とは、画像データであれば、画像に対してモザイクをかける処理であったり、テキストデータであれば、テキストを他の言語へ翻訳したりする処理のことをいう。

また、データ表示／センサ装置１００は、上述した液晶パネルＡと液晶パネルＢとの関係とは逆に、液晶パネルＢに表示されている表示範囲３０３を隣接した液晶パネルＡにも表示されるように移動すると、液晶パネルＡの表示範囲３０３には、データを処理した後のデータである処理後データが表示されるものであってもよい。

まず、以下で上記データ表示／センサ装置１００が備えているセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示機器である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。同図（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、同図（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置の筐体）
次に、図９を参照しながら、本発明に係るデータ表示／センサ装置１００の筐体について説明する。図９は、データ表示／センサ装置１００の筐体を示す概要図である。図示のとおり、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとが隣接して構成されている。

そして、図９に示すとおり、データ表示／センサ装置１００の筐体は、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１と、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１とで、データ表示およびユーザ入力が可能となる。

なお、以降では、説明の便宜上、第１表示／光センサ部３００Ａを「上画面」とも称し、また、第２表示／光センサ部３００Ｂを「下画面」とも称する。

また、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ａと表記し、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ｂと表記する。センサ内蔵液晶パネル３０１Ａおよびセンサ内蔵液晶パネル３０１Ｂを区別しないときは、センサ内蔵液晶パネル３０１と表記する。そして、センサ内蔵液晶パネル３０１Ａが表示を行う領域を表示領域（第１の表示領域）３０２Ａとし、センサ内蔵液晶パネル３０１Ｂが表示を行う領域を表示領域（第２の表示領域）３０２Ｂとする。

さらに、単に“表示する（または、表示させる）”と表記している場合は、センサ内蔵液晶パネル３０１に表示する（または、表示させる）ものとする。

また、本実施の形態では、データ表示／センサ装置１００は、２つのセンサ内蔵液晶パネル３０１を隣接して備えている装置として説明するが、これに限られるものではない。センサ内蔵液晶パネル３０１Ａとセンサ内蔵液晶パネル３０１Ｂとの間にヒンジを備えた、いわゆるクラムシェル型であって、開いた状態でセンサ内蔵液晶パネル３０１Ａとセンサ内蔵液晶パネル３０１Ｂとが隣接した構成になるものであってもよい。

（データ表示／センサ装置を用いてデータ処理を行う様子）
次に、図１０〜１３を参照しながら、データ表示／センサ装置１００がデータ処理を行う典型例について説明する。なお、ここでは処理の概要について説明し、各処理の詳細については後述する。

まず、画像処理（ここでは画像に対してモザイクを施す処理）を行う場合について説明する。図１０は、データ表示／センサ装置１００において、画像処理を行う場合を示す説明図である。そして、同図の（ａ）は、上画面に画像処理が行われる前の画像が表示されている状態を示す図であり、同図の（ｂ）は、上画面に表示されていた画像の一部が下画面に表示されるように移動したときに、下画面に表示されている部分はモザイク処理が施されて表示されている状態を示す図である。

図１０に示すように、画像５０１に対しモザイク処理を施す場合、まず、ユーザは、表示されたメニュー表示から処理の内容としてモザイク処理を選択し、処理の対象となる画像５０１を選択する。ユーザが、画像５０１を選択すると、表示決定部１３２は、上画面に処理の対象となる画像５０１を表示させる。そして、ユーザが指等で画像５０１をタッチしてそのまま下画面の方向に指を移動（ドラッグ）させると、接触座標取得部１３４がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部１３２が、画像５０１の表示範囲３０３を下画面に移動させる。これにより、画像５０１の一部が下画面に移動する。そして、表示決定部１３２は、画像５０１の表示範囲３０３のうち、下画面に表示されている部分を、モザイク処理が施された表示とする。

次に、翻訳処理を行う場合について説明する。図１１は、データ表示／センサ装置１００において、翻訳処理を行う場合を示す説明図である。そして、同図の（ａ）は、下画面に翻訳処理が行われる前のテキストデータ５０２が表示されている状態を示す図であり、同図の（ｂ）は、下画面に表示されていたテキストデータ５０２の表示範囲３０３の一部が上画面に表示されるように移動したときに、上画面に表示された部分は下画面に表示されていたときのテキストデータから翻訳処理が施された後の状態を示す図である。

図１１に示すように、テキストデータ５０２に対して翻訳処理を施す場合、まず、ユーザは、表示されたメニュー表示から処理の内容として翻訳処理を選択し、処理の対象となるテキストデータ５０２を選択する。ユーザがテキストデータ５０２を選択すると、表示決定部１３２は、下画面に処理の対象となるテキストデータ５０２を表示させる。そして、ユーザが指等でテキストデータ５０２をタッチしてそのまま上画面の方向に指をドラッグすると、接触座標取得部１３４がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部１３２が、テキストデータ５０２を上画面に移動させる。これにより、テキストデータ５０２の表示範囲３０３の一部が上画面に移動する。そして、表示決定部１３２は、テキストデータ５０２の表示範囲３０３のうち、上画面に表示されている部分を、下画面に表示されていたときのテキストデータから翻訳処理が施された後の表示とする。

なお、翻訳処理についても、上述したモザイク処理と同様の処理を行うものであってもよい。すなわち、データ表示／センサ装置１００は、上画面に翻訳処理前のテキストデータ５０２を表示し、表示されているテキストデータ５０２が上画面から下画面に移動すると、下画面に表示している部分には、翻訳処理後のテキストデータ５０２を表示する処理を行うものであってもよい。

次に、データを削除する処理（削除処理）を行う場合について説明する。図１２は、データ表示／センサ装置１００において、削除処理を行う場合を示す説明図である。そして、同図の（ａ）は、上画面に削除処理の対象となるデータ５０３が表示されている状態を示す図であり、同図の（ｂ）は、上画面に表示されていた削除処理の対象となるデータ５０３の一部が下画面に表示されるように移動したときに、下画面に表示されている部分はシュレッダーによって処理されたように表示されている状態を示す図である。

図１２に示すように、データ５０３に対して削除処理を施す場合、まず、ユーザは、表示されたメニューから処理の内容として削除処理を選択し、処理の対象となるデータ５０３を選択する。ユーザがデータ５０３を選択すると、表示決定部１３２は、上画面に削除処理の対象となるデータ５０３を表示させる。そして、ユーザが指等でデータ５０３をタッチしてそのまま下画面の方向に指をドラッグすると、接触座標取得部１３４がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部１３２が、データ５０３を下画面に移動させる。これにより、データ５０３の表示範囲３０３の一部が下画面に移動する。そして、表示決定部１３２は、データ５０３の表示範囲３０３のうち、下画面に表示されている部分を、印刷された紙がシュレッダーにより裁断されたような状態で表示する。

これにより、表示は、印刷された紙がシュレッダーにより裁断されたような状態になるとともに、データ５０３は、データ記憶部２２から削除される。

（データ表示／センサ装置のより詳細な構成）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。
図１に示すようにデータ表示／センサ装置１００の主制御部８００は、メニュー表示制御部１１、スキャン処理部１２、および表示処理部１３を含む構成である。なお、データ表示／センサ装置１００においてスキャン処理を行わない場合は、スキャン処理部１２は含んでいなくてもよい。

また、記憶部９０１は、メニュー記憶部２１、データ記憶部２２、およびデータ処理用記憶部２３を含む構成である。

メニュー表示制御部１１は、データ表示／センサ装置１００の動作状態に応じたメニューやボタンを、メニュー記憶部２１から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル３０１上に表示させる。

そして、ユーザが、センサ内蔵液晶パネル３０１上を指やペンなどで操作（タッチ）したとき、光センサ回路３２が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部１１は、タッチした位置を示す座標データを取得する。

よって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル３０１にメニューやボタンを表示した領域内である場合、メニュー表示制御部１１は、ユーザが、当該メニューやボタンを操作したものと判定することができる。

したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部１１は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、表示処理部１３を起動し、画像表示処理を実行させる。また、「画像スキャン／文字認識」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部１２を起動し、スキャン処理を実行させる。

スキャン処理部１２は、センサ内蔵液晶パネル３０１上に置かれた対象物のスキャンを行う。そして、スキャン処理部１２は、センサ内蔵液晶パネル３０１にスキャンを実行させた結果として、画像データを取得し、該取得した画像データからスキャンデータを抽出して、当該スキャンデータを記憶部９０１に格納する。

表示処理部１３は、データ記憶部２２に記憶されているデータを、センサ内蔵液晶パネル３０１で表示させるとともに、該データの処理を行い、その結果を表示させるものである。より詳細には、表示処理部１３は、データ取得部１３１、表示決定部（データ取得手段、表示合成手段）１３２、取得データ処理部１３３、および接触座標取得部（接触検知手段）１３４を含む構成である。

データ取得部１３１は、データ記憶部２２に記憶されているデータを取得して、表示決定部１３２および取得データ処理部１３３へ送信するものである。

接触座標取得部１３４は、センサ内蔵液晶パネル３０１上において、指やペンが接触された位置を示す位置情報（座標データ）を取得するものである。そして、取得した位置情報を表示決定部１３２および取得データ処理部１３３へ送信する。

取得データ処理部１３３は、データ取得部１３１から取得したデータに対し、接触座標取得部１３４から取得した位置情報が示す位置の変化をトリガーとして、ユーザによって指示された処理を施し、処理結果を示すデータである処理後データを表示決定部１３２へ送信するものである。より具体的には、取得した位置情報に基づいて、上画面に表示されていた表示範囲３０３を下画面へ移動させたときに、ユーザによって指示された処理を施すものである。そして、取得データ処理部１３３は、画像処理部１４５および翻訳処理部（翻訳言語決定手段）１４６を含む構成であり、データに対する処理は、取得データ処理部１３３に含まれている各処理部が行う。

画像処理部１４５は、取得した画像データに対し、モザイク処理を施したり、カラー画像を白黒画像にしたりする等の画像処理を行うものである。この画像処理は、公知の技術を用いて行うものであり、その説明は省略する。

翻訳処理部１４６は、取得したテキストデータを他の言語に翻訳する処理を行うものである。この翻訳処理は、公知の技術を用いて行うものであり、その説明は省略する。

表示決定部１３２は、データ取得部１３１から取得したデータと、取得データ処理部１３３から取得した処理後データと、接触座標取得部１３４から取得した位置情報とから、センサ内蔵液晶パネル３０１に表示させるデータおよびその表示範囲３０３の位置を決定する。そして、決定したデータおよびその位置をデータ処理部７００を介して、センサ内蔵液晶パネル３０１へ送信する。また、センサ内蔵液晶パネル３０１で表示されているデータの表示位置を取得する。より詳細には、表示決定部１３２は、表示位置決定部（表示範囲移動手段、表示合成手段）１４２、および表示内容決定部（表示合成手段）１４３を含む構成である。

表示位置決定部１４２は、センサ内蔵液晶パネル３０１で表示させるべきデータをセンサ内蔵液晶パネル３０１のどの位置に表示させるかを決定するものである。例えば、データ取得部１３１から取得したデータは、初めにセンサ内蔵液晶パネル３０１の上画面に表示させる。そして、画面上で接触（タッチ）されていることを接触座標取得部１３４から取得した位置情報によって判断し、そのままタッチされている位置が変更されるとそれに対応させてセンサ内蔵液晶パネル３０１で表示させている表示範囲３０３も変更させる。

また、表示位置決定部１４２は、取得データ処理部１３３から取得した処理後データの表示位置を、一体として表示させるデータのうち、下画面に表示される部分に対応する位置に表示されるように決定する。

表示内容決定部１４３は、センサ内蔵液晶パネル３０１の上画面、下画面に表示されるデータを、上画面には処理前のデータを、下画面には処理後のデータを表示するように決定する。

次に、記憶部９０１について説明する。上述したように記憶部９０１は、メニュー記憶部２１、データ記憶部２２、およびデータ処理用記憶部２３を含む構成である。

メニュー記憶部２１は、センサ内蔵液晶パネル３０１上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。

なお、メニュー記憶部２１は、データ表示／センサ装置１００の動作状態に応じたメニューを記憶する。例えば、データ表示／センサ装置１００の起動直後に、センサ内蔵液晶パネル３０１上に表示されるメニューとして、データ処理と対応付けられているメニュー項目である「データ処理」、記憶部に格納している画像データをセンサ内蔵液晶パネル３０１上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。

データ記憶部２２は、データ表示／センサ装置１００で処理を行うデータを記憶するものである。データ表示／センサ装置１００で処理を行うデータとしては画像データやテキストデータが挙げられる。これらのデータは、例えば、データ表示／センサ装置１００がインターネットに接続され、ネットを経由して取得したデータであったり、データ表示／センサ装置１００のスキャン機能を用いてスキャンされたデータであったり、ユーザがデータが記録されている記録媒体をデータ表示／センサ装置１００と接続して記憶させたデータであることが考えられる。

データ処理用記憶部２３は、取得データ処理部１３３がデータ処理を行うために必要なデータを記憶するものである。例えば、画像処理を行うための画像処理プログラムや、翻訳処理を行うための翻訳処理プログラム等を記憶するものである。

（主制御部がデータ処理部に送信するコマンドの説明）
次に、主制御部８００の動作例について、主制御部８００からデータ処理部７００に送信されるコマンドに触れながら説明する。

データ処理の対象となる表示データを表示させる場合、データ処理の対象となる表示データをデータ処理部７００へ送信する。併せて、表示決定部１３２は、「表示パネル」フィールドの値として上画面（“001”）（または下画面（“010”））を指定したコマンドをデータ処理部７００へ送信する。

次に、ユーザの指やタッチペン等でセンサ内蔵液晶パネル３０１にタッチ（接触）していることを判断する場合、接触座標取得部１３４は、「データ取得タイミング」フィールドに、“イベント（01）”または“オール（10）”を指定し、「データ種別」フィールドに“座標（001）”を指定する。

そして、指やペン等の接触主体がセンサ内蔵液晶パネル３０１上に接触したとき、光センサ回路３２が、接触主体の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７００がセンサ制御部６０２から受信する画像データに変化が生じる。

したがって、データ処理部７００は、上述したコマンドの応答として、変化が生じた部分の座標データ（位置情報）を接触座標取得部１３４に送信する。

その後、接触主体の接触位置が移動すると、上述した方法で、変化した座標データを接触座標取得部１３４へ送信する。

次に、ユーザの指やタッチペン等でセンサ内蔵液晶パネル３０１にタッチしながら表示されている表示データの位置を変更する場合、上述した方法で接触位置の座標データを取得する。そして、前回取得した座標データと今回取得した座標データとの差分に対応する距離だけ表示データの表示位置を変更した位置で表示させるコマンドを表示データと併せてデータ処理部７００へ送信する。

また、表示データが下画面（または上画面）にも表示される位置となる場合、表示決定部１３２は、データ処理が行われた処理後表示データを、「表示パネル」フィールドの値として下画面（“010”）（または上画面（“001”））を指定したコマンドと併せて、データ処理部７００へ送信する。

（データ表示／センサ装置における処理の流れ）
次に、データ表示／センサ装置１００における処理の流れについて図１３および図１４を用いて説明する。図１３は、データ表示／センサ装置１００における、処理の流れを示すフローチャートである。

まず、データ表示／センサ装置１００の電源が入れられると、センサ内蔵液晶パネル３０１にメニューが表示される（Ｓ１３０１）。該メニューにより、ユーザが何らかの処理と処理対象となるデータを選択すると、データ表示／センサ装置１００は該処理内容を受け付け（Ｓ１３０２）、データ取得部１３１は、処理の対象となるデータをデータ記憶部２２より取得する（Ｓ１３０３）。そして、表示決定部１３２は、処理対象となるデータをセンサ内蔵液晶パネル３０１の上画面に表示させる（Ｓ１３０４）。

ここで、ユーザは指やタッチペン等を用いて画面にタッチし、そのまま指やタッチペンを移動させることで表示されているデータの表示範囲３０３を移動させることができる。そして、表示範囲３０３の位置が移動され（Ｓ１３０５でＹＥＳ）、表示範囲３０３が一部でも、下画面に移動すると（Ｓ１３０６）、取得データ処理部１３３はデータ処理を行う（Ｓ１３０７）。

なお、データ処理は、下画面に移動した部分のみを対象とするものであってもよいし、データすべてを対象とするものであってもよい。

そして、表示決定部１３２は、表示すべきデータのうち、センサ内蔵液晶パネル３０１の上画面に表示されている表示範囲３０３については処理前のデータを表示させ、下画面に表示されている表示範囲３０３については処理後のデータを表示させる（Ｓ１３０８）。その後、ユーザから保存指示を受けると（Ｓ１３０９でＹＥＳ）、取得データ処理部１３３は、処理後のデータをデータ記憶部２２へ記憶させる（Ｓ１３１０）。そして処理を終了する。

なお、ユーザによる保存の指示としては、例えば、センサ内蔵液晶パネル３０１に表示されているデータをユーザが移動させていって、下画面の下端に接する状態になったときに保存するということが考えられる。

また、上記の構成では、表示されているデータが一部でも下画面で表示されたときに、取得データ処理部１３３がデータ処理を行うとしたが、これに限られるものではない。処理対象となるデータが上画面に表示されたときに、データ処理も実行し、表示されているデータが下画面で表示されると、下画面にはデータ処理後のデータを表示するものであってもよい。

次に、図１４を用いて、データ表示／センサ装置１００における翻訳処理の流れについて説明する。図１４は、データ表示／センサ装置１００における翻訳処理の流れを示すフローチャートである。

まず、データ表示／センサ装置１００の電源が入れられると、センサ内蔵液晶パネル３０１にメニューが表示される（Ｓ１４０１）。該メニューにより、ユーザが処理内容として翻訳処理を選択するとともに、処理対象となるデータを選択すると、データ表示／センサ装置１００は該処理内容を受け付け（Ｓ１４０２）、データ取得部１３１は、処理の対象となるデータをデータ記憶部２２より取得する（Ｓ１４０３）。そして、表示決定部１３２は、処理対象となるデータをセンサ内蔵液晶パネル３０１の下画面に表示させる（Ｓ１４０４）。

ここで、ユーザは指やタッチペン等を用いて画面にタッチし、そのまま指やタッチペンを移動させることで表示されているデータの表示範囲３０３を移動させることができる。そして、表示範囲３０３の位置が移動され（Ｓ１４０６でＹＥＳ）、表示範囲３０３が一部でも、上画面に移動すると（Ｓ１４０６）、取得データ処理部１３３は翻訳処理を行う（Ｓ１４０７）。

なお、翻訳処理は、上画面に移動した部分のみを対象とするものであってもよいし、データすべてを対象とするものであってもよい。

そして、表示決定部１３２は、表示すべきデータのうち、センサ内蔵液晶パネル３０１の下画面に表示されている表示範囲３０３については処理前のデータを表示させ、上画面に表示されている表示範囲３０３については処理後のデータを表示させる（Ｓ１４０８）。その後、ユーザから保存指示を受けると（Ｓ１４０９でＹＥＳ）、取得データ処理部１３３は、処理後のデータをデータ記憶部２２へ記憶させる（Ｓ１４１０）。そして処理を終了する。

なお、ユーザによる保存の指示としては、例えば、センサ内蔵液晶パネル３０１に表示されているデータをユーザが移動させていって、上画面の上端に接する状態になったときに保存するということが考えられる。

また、上記の構成では、表示されているデータが一部でも上画面で表示されたときに、取得データ処理部１３３がデータ処理を行うとしたが、これに限られるものではない。処理対象となるデータが下画面に表示されたときに、翻訳処理も実行し、表示されているデータが上画面で表示されると、上画面にはデータ処理後のデータを表示するものであってもよい。

（翻訳処理の実施例）
取得データ処理部１３３で、翻訳処理を行う場合に、最初のメニュー画面等を用いてユーザから指定された言語に翻訳する方法の他に、以下のような方法によって、翻訳する言語を選択することが考えられる。この翻訳言語を選択する方法について、図１５を用いて説明する。図１５は、翻訳処理において、翻訳言語を選択する方法を説明するための説明図である。ここで、翻訳言語とは、翻訳後の言語を示す。

図１５に示すように、この方法は、翻訳処理を実行するときに、センサ内蔵液晶パネル３０１の下画面から上画面へ指またはタッチペン等が移動した位置が上画面と下画面との間の筐体（境界筐体３１０）のどの地点を通過したと判断できるかによって、翻訳言語を決定するものである。

より具体的には、指またはタッチペン等が下画面から離れた位置と、上画面に最初に接触した位置とから、境界筐体３１０のどの位置を指またはタッチペンが通過したかを判断する。そして、予め、境界筐体３１０の幅方向に互いに重複することなく分散して翻訳する言語を設定しておき、指またはタッチペンが通過した位置と対応する言語に翻訳する。例えば、図１５に示した例では、境界筐体３１０を３つの区画に分割し、左部分が英語への翻訳、中央部分がフランス語への翻訳、右部分が中国語への翻訳となっている。そして、指は境界筐体３１０の中央部分を通過していると判断されるので、この場合は中国語へ翻訳される。

なお、指やタッチペン等が下画面から上画面に移動するのではなく下画面における移動のみで、上記翻訳言語を選択するものであってもよい。この場合、下画面から、指やタッチペンが最終的に離れた位置と最も近い距離にある境界筐体３１０の位置に対応する言語を翻訳言語として選択すればよい。

また、境界筐体３１０の全てに翻訳言語を割り当てておく必要はなく、翻訳言語が割り当てられていない区画が存在していてもよい。

また、翻訳処理の対象となるデータが上画面に表示され、データの表示範囲が下画面に入ったときに、下画面に表示されている部分に翻訳処理後のデータが表示される場合では、指またはタッチペン等が上画面から離れた位置と、下画面に最初に接触した位置とから、境界筐体３１０のどの位置を指またはタッチペンが通過したかを判断して、翻訳言語を選択すればよい。さらに、この場合に、上画面における移動のみで、上記翻訳言語を選択するものであってもよい。

また、翻訳言語の決定を、指またはタッチペン等がセンサ内蔵液晶パネル３０１に接触している位置ではなく、接触している指またはタッチペン等の数によって行ってもよい。

より具体的に、図１６を用いて説明する。図１６は、翻訳処理において、翻訳言語を選択する方法を説明するための説明図であり、同図の（ａ）は、テキストデータ５０２の表示範囲３０３が上画面のみの場合を示す図であり、同図の（ｂ）は、テキストデータ５０２の表示範囲３０３の一部が下画面に表示されるように移動した場合を示す図である。

本実施の形態は、接触本数と翻訳言語とが対応付けられており、下画面に表示されているテキストデータ５０２の表示範囲３０３を上画面方向に移動させたときに、移動させるために接触させた指の本数（または、タッチペン等の本数）によって翻訳言語を決定するものである。例えば、接触本数が２本であれば翻訳言語は英語となるように対応付けられている場合、図１６に示すように、指２本を用いて下画面に表示されている日本語のテキストの表示範囲３０３を上画面方向へ移動させると、上画面に表示される部分には、英語に翻訳されたテキストが表示される。

より詳細には、本実施の形態では、指またはタッチペン等のセンサ内蔵液晶パネル３０１に対する接触本数と翻訳言語とが対応付けられてデータ処理用記憶部２３に記憶されている。そして、センサ内蔵液晶パネル３０１に対し、１または複数の位置で接触があると、接触座標取得部１３４は、１または複数の位置情報を取得する。

次に、接触座標取得部１３４は取得した複数の位置情報を翻訳処理部１４６へ送信する。翻訳処理部１４６は、接触座標取得部１３４から複数の位置情報を取得すると、該位置情報の数をセンサ内蔵液晶パネル３０１への接触本数として、データ処理用記憶部２３に記憶されている接触本数と翻訳言語との対応付けから翻訳言語を決定し、翻訳処理を行う。

そして、表示決定部１３２は、表示されているテキストデータ５０２のうち、下画面に表示されている部分には、翻訳処理部１４６が処理した翻訳言語のテキストデータ５０２を表示させる。

また、図１６に示すように、接触本数と翻訳言語との対応付けた対応表５０４をセンサ内蔵液晶パネル３０１に表示する構成であってもよい。

なお、上述した実施の形態では、接触本数により翻訳言語を決定するとしたが、接触本数によりデータ表示／センサ装置１００での処理の内容（画像処理、翻訳処理、削除処理等）を決定する構成であってもよい。

以上のように、本実施の形態では、指やタッチペン等で表示されているデータをタッチしながら一方の画面から他方の画面へ移動させることでデータ処理を行うことができる。

そして、表示されているデータをタッチして移動させるだけという単純な操作は、ボタン操作等に慣れていないユーザであっても、容易に行うことができ、しかも、一方の画面から他方の画面へ移動させると処理が実行されるので、ユーザは、イメージとして認識しやすい。

さらに、ユーザの操作と処理との対応が容易に認識できるので、ボタン操作等に慣れていない人間であっても、直感的に操作できる。

なお、上述した実施の形態では、画像処理の場合には、上画面に表示されているデータを下画面に移動させたときに、下画面に画像処理後のデータを表示し、翻訳処理の場合には、下画面に表示されているデータを上画面に移動させたときに、上画面に翻訳処理後のデータを表示する構成としたが、これに限られるものではない。画像処理の場合に、下画面に表示されているデータを上画面に移動させたときに、上画面に画像処理後のデータを表示する構成であってもよく、また、翻訳処理の場合に、上画面に表示されているデータが下画面に移動したときに、下画面に翻訳処理後のデータを表示する構成であってもよい。

また、上述した実施の形態では、隣接した画面が上下に配置されている場合の説明をしたが、画面の配置は、これに限られるものではない。ユーザから見て、隣接した画面が左右に配置されるものであってもよい。この場合、左右に配置されている一方の画面に表示されているデータを他方の画面に移動させると、他方の画面に処理後のデータを表示する。また、画面が左右に配置されている場合において、縦書きの言語の翻訳処理を行うときは、翻訳前のデータを左側の画面に表示し、データを右側の画面に移動させると、右側の画面に翻訳後のデータを表示する構成とすれば、翻訳前後のデータをユーザが容易に認識できる。

また、上述した実施の形態では、一方の画面に表示したデータを、指等を用いて他方の画面に移動させるときに、表示範囲３０３が一方の画面から他方の画面に移動したときにデータ処理を実行したが、これに限られるものではない。例えば、一方の画面にデータを表示させたときに、データ処理を実行するとともに処理結果を保存し、他方の画面にデータが表示されたときに他方の画面の部分には保存されている処理後のデータを表示させるものであってもよい。

また、データ表示／センサ装置１００は、データの表示範囲３０３が、一方の画面から他方の画面へと移動した場合にのみ処理後のデータが表示される構成に限られるものではない。他方の画面から一方の画面に表示範囲３０３が移動した場合に、一方の画面から他方の画面に移動したときとは反対の処理が行われたデータが一方の画面に表示される構成であってもよい。

例えば、画像データが上画面から下画面に移動したときにモザイク処理が施される場合に、モザイク処理が施された画像データを下画面に表示させ、該モザイク処理が施された画像データを上画面に移動させると、上画面に表示された部分は、モザイクが外され、通常の画像データを表示するものであってもよい。

また、翻訳処理において、下画面から上画面にテキストデータが移動したときに、日本語表示から英語表示となる場合に、上画面から下画面にテキストデータが移動すると、英語表示から日本語表示となる構成であってもよい。

これにより、ユーザは、表示されているテキストデータを下画面から上画面に移動することで、日本語の英訳を確認することができ、そのまま下画面に移動すると、英訳された日本語を確認することができる。よって、日本語とその英訳とを繰り返し確認することができ、例えば英語学習に有効な装置として用いることができる。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

（ソフトウェアによる構成）
最後に、データ表示／センサ装置１００の各ブロック、特に回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

２画面を用いて、一方の画面から他方の画面へ表示されているデータを移動させることで処理の結果を表示することができるので、データを処理して表示する装置、例えば、画像処理装置や翻訳処理装置に好適である。

本発明の実施の形態を示すものであり、データ表示／センサ装置の詳細な構成を示すブロック図である。 本発明の一実施の形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、本発明の一実施の形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施の形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施の形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施の形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、本発明の一実施の形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施の形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施の形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施の形態に係るデータ表示／センサ装置の筐体を示す図である。 本発明の一実施の形態に係るデータ表示／センサ装置において、画像処理を行う場合を示す説明図であり、図１０（ａ）は、上画面に画像処理が行われる前の画像が表示されている状態を示す図であり、図１０（ｂ）は、上画面に表示されていた画像の一部が下画面に表示されるように移動したときに、下画面に表示されている部分はモザイク処理が施されて表示されている状態を示す図である。 本発明の一実施の形態に係るデータ表示／センサ装置において、翻訳処理を行う場合を示す説明図であり、図１１（ａ）は、下画面に翻訳処理が行われる前のテキストデータが表示されている状態を示す図であり、図１１（ｂ）は、下画面に表示されていたテキストデータの一部が上画面に表示されるように移動したときに、上画面に表示されている部分は翻訳処理が施されて表示されている状態を示す図である。 本発明の一実施の形態に係るデータ表示／センサ装置において、削除処理を行う場合を示す説明図であり、図１２（ａ）は、上画面に削除処理の対象となるデータが表示されている状態を示す図であり、図１２（ｂ）は、上画面に表示されていた削除処理の対象となるデータの一部が下画面に表示されるように移動したときに、下画面に表示されている部分はシュレッダーによって処理されたように表示されている状態を示す図である。 本発明の一実施の形態に係るデータ表示／センサ装置における処理の流れを示すフローチャートである。 本発明の一実施の形態に係るデータ表示／センサ装置における翻訳処理の流れを示すフローチャートである。 本発明の一実施の形態に係る翻訳処理において、翻訳言語を選択する方法を説明するための説明図である。 本発明の一実施の形態に係る翻訳処理において、翻訳言語を選択する方法の説明図であり、図１６（ａ）は、テキストデータの表示範囲が下画面のみの場合を示す図であり、図１６（ｂ）は、テキストデータの表示範囲の一部が上画面に表示されるように移動した場合を示す図である。

符号の説明

１１ メニュー表示制御部
１２ スキャン処理部
１３ 表示処理部
２１ メニュー記憶部
２２ データ記憶部
２３ データ処理用記憶部
１００ データ表示／センサ装置（表示装置）
１３１ データ取得部
１３２ 表示決定部（データ取得手段、表示合成手段）
１３３ 取得データ処理部
１３４ 接触座標取得部
１４２ 表示位置決定部（表示範囲移動手段、表示合成手段）
１４３ 表示内容決定部（表示合成手段）
１４５ 画像処理部
１４６ 翻訳処理部（翻訳言語決定手段）
３０１、３０１Ａ、３０１Ｂ センサ内蔵液晶パネル（面状部材）
３０２Ａ 表示領域（第１の表示領域）
３０２Ｂ 表示領域（第２の表示領域）
３０３ 表示範囲
３１０ 境界筐体（境界）
７００ データ処理部
８００ 主制御部
９０１ 記憶部

Claims (7)

1. 隣接した２つの表示領域を備え、該隣接した２つの表示領域で１画面のように表示する表示装置であって、
   処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得手段と、
   一つの表示範囲を、ユーザの指示に基づいて、上記隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動手段と、
   上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示合成手段と、を備えていることを特徴とする表示装置。
2. 表示と、ユーザによる接触の検知とを行う面状部材を備え、
   上記面状部材には上記隣接した２つの表示領域が設定されており、
   上記面状部材が、上記隣接した２つの表示領域における上記表示範囲への接触、および上記第１の表示領域から上記第２の表示領域への方向への当該接触の移動を検知したとき、上記表示範囲移動手段は、表示範囲を該移動に応じて、上記第１の表示領域から上記第２の表示領域の方向へ移動させることを特徴とする請求項１に記載の表示装置。
3. 上記データ処理が処理前のテキストデータを処理後のテキストデータへ翻訳する処理であって、翻訳後の言語が複数設定されており、
   上記第１の表示領域と上記第２の表示領域との境界には、上記複数の翻訳後の言語のそれぞれに対応付けられた複数の区画が、上記境界の幅方向に互いに重複することなく分散して設定されており、
   上記面状部材が上記隣接した２つの表示領域における上記境界の近傍への接触を検知したとき、上記データ取得手段は、当該接触の位置に最も近い上記区画に対応付けられた翻訳後の言語に翻訳されたテキストデータを取得することを特徴とする請求項２に記載の表示装置。
4. 上記面状部材は、画像を表示すると共に、近傍の像を検知することで接触を検知するものであることを特徴とする請求項２または３に記載の表示装置。
5. 請求項１〜４のいずれか１項に記載の表示装置を動作させる表示装置制御プログラムであって、コンピュータを上記の各手段として機能させるための表示装置制御プログラム。
6. 請求項５に記載の表示装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
7. 隣接した２つの表示領域を備え、該隣接した２つの表示領域で１画面のように表示する表示装置の制御方法であって、
   処理前データおよび該処理前データにデータ処理を施した処理後データを取得するデータ取得ステップと、
   一つの表示範囲を、ユーザの指示に基づいて、上記隣接した２つの表示領域の一方である第１の表示領域から、他方の表示領域である第２の表示領域へ移動させる表示範囲移動ステップと、
   上記表示範囲の上記第１の表示領域に含まれる部分には上記処理前データを表示するとともに、上記表示範囲が第１の表示領域から第２の表示領域へ該隣接した２つの表示領域の境界を越えて移動するにつれて、上記表示範囲の上記第２の表示領域に含まれる部分には、当該部分に表示されていた上記処理前データに対応する上記処理後データを表示させる表示合成ステップと、を含むことを特徴とする表示装置の制御方法。

Images