JP2014052844A - 筆跡情報取得システム - Google Patents

Abstract

【課題】記入用紙に対して記入がなされる際に、特殊な筆記具を使うことなく、高精度の筆跡情報を取得することが可能な技術を提供する。
【解決手段】圧力を検出して第１の波長帯の光を透過する透過状態から第１の波長帯の光を反射する反射状態に変化した検出領域を有する筆跡取得用液晶パネル部１０３と、検出領域により反射された第１の波長帯の光を検出する画像取得部１０７と、第１の波長帯の光を吸収する筆跡取得用光除去部１０４と、を備え、筆跡取得用光除去部１０４は、筆跡取得用液晶パネル部１０３を基準として画像取得部１０７とは反対側に配置される、筆跡情報取得システム１０Ａが提供される。
【選択図】図１

Description

本発明は、筆跡情報取得システムに関するものである。

近年、ディスプレイの小型化および薄型化により、様々な場所にディスプレイが搭載されてきている。例えば、テーブルの天板面にディスプレイを埋め込み、テーブルに情報出力機能を持たせたテーブルディスプレイに関する技術が存在する（例えば、特許文献１参照）。特許文献１に記載されている技術では、テーブルディスプレイの天板面上の物体認識について言及しており、テーブルディスプレイの天板面上にも物体が置かれることを想定している。

ここで、特許文献１に記載されている技術では、例えば、テーブルディスプレイの天板面上に何らかの記入用紙が置かれた場合、記入用紙の状態を認識し、記入用紙の状態に応じた記入に関する支援情報を表示するといった記入支援を行う。しかし、特許文献１には、筆記具を用いて記入が行われた場合に、その記入による筆跡情報を取得することに関しては何ら言及されていない。

筆跡情報を取得する手法としては、例えば、タッチパネルを用いる手法が存在する。しかし、タッチパネルの方式により筆跡情報を取得する手法は異なるのが通例である。例えば、静電容量方式のタッチパネルを用いた場合には、導電性を持った専用のタッチペンが必要であり、タッチパネル上の記入用紙に対して記入行為を行った場合に、記入用紙の存在によりタッチパネルの表面電荷が変化しにくくなり、筆跡情報を取得するのが困難になってしまう。

赤外線遮光方式のタッチパネルを用いた場合には、特殊な筆記具を必要とせず、タッチパネル上の記入用紙に対して記入行為を行った場合であっても、筆跡情報を取得することができる。しかし、この方式を用いた場合には、筆記具がタッチパネルに接触していない場合（すなわち、実際には筆記具による記入が行われていない場合）であっても筆記具が検出されるため、筆跡情報を高精度に取得することができない。

抵抗膜方式のタッチパネルを用いた場合には、特殊な筆記具を必要とせず、タッチパネル上の記入用紙に対して記入行為を行った場合であっても、筆跡情報を取得することができ、筆記具がタッチパネルに接触していない場合には筆記具が検出されない。しかし、この方式を用いた場合には、記入の際にタッチパネルに手が接触するといったことが起こった場合、タッチパネルへの手の接触も検出されてしまうため、筆跡情報を高精度に取得することができない。

また、特許文献２により開示されている方式は、特殊な性質を持つ液晶パネルを用いることによって、特殊な筆記具によらずにタッチパネルへの筆記具の接触を検出可能な方式である。また、この方式を用いた場合には、筆記具による記入中に筆記具以外の物体とタッチパネルとの接触が起こった場合であっても筆跡情報を高精度に取得できる場合も想定される。

しかし、この方式では、記入面上の記入用紙に対して筆記具を用いて記入が行われると、液晶パネルのうち筆記具から圧力を受けた部分のバックライトに対する反応が変化するが、液晶パネルを透過して記入面側に抜けていった光は、記入面上の記入用紙によって反射されてしまう。そのため、筆記具から圧力を受けた部分に投射された光とその他の部分に投射された光との双方とも光素子センサにより検出されてしまうため、筆記具から圧力を受けた部分の特定ができず、筆跡情報を高精度に取得することができない。

また、筆跡情報を取得する手法として、デジタルペンを用いる手法が存在する。例えば、デジタルペンを用いる手法としては、アノト（登録商標）方式といわれる超小型カメラを内蔵した特殊なペンを使う方式が存在する。この方式によれば、特殊なドットパターンが印刷された専用の記入用紙に対してこの特殊なペンによって記入行為がなされた場合に、内蔵カメラでこのドットパターンを筆跡情報として取得することができる。しかし、この方式では、専用のペンと専用の記入用紙が必要になるという制限が課されてしまう。

また、デジタルペンを用いる手法として、超音波・赤外線方式が存在する。超音波・赤外線方式は、超音波または赤外線を発信する機能を備えた専用ペンを用い、専用ペンからの発信信号を受信することによって筆跡情報を取得する形式である。しかし、この方式では、専用のペンが必要であることと、赤外線遮光方式と同様に、ペンと記入用紙の接触点の情報が得られないといった問題がある。専用ペンがタッチパネルに接触していない場合であっても専用ペンからの発信信号が検出されるため、筆跡情報を高精度に取得することができない。

特願２０１１−１９６２６２号 特開２０１０−１７００５８号公報

上記したように、従来の技術を用いた場合には、記入用紙に対して記入がなされる際に、特殊な筆記具を使う必要があった。あるいは、記入用紙に対して記入がなされる際に、高精度の筆跡情報を取得することができなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、記入用紙に対して記入がなされる際に、特殊な筆記具を使うことなく、高精度の筆跡情報を取得することが可能な技術を提供することにある。

上記問題を解決するために、本発明のある観点によれば、圧力を検出して第１の波長帯の光を透過する透過状態から前記第１の波長帯の光を反射する反射状態に変化した検出領域を有する圧力検出部と、前記検出領域により反射された前記第１の波長帯の光を検出する光検出部と、前記第１の波長帯の光を吸収する光吸収部と、を備え、前記光吸収部は、前記圧力検出部を基準として前記光検出部とは反対側に配置される、筆跡情報取得システムが提供される。

前記筆跡情報取得システムは、前記圧力検出部に対して電圧を印加することにより前記検出領域を前記透過状態に変化させる電極部をさらに備えてもよい。

前記筆跡情報取得システムは、前記光検出部による前記第１の波長帯の光の検出結果に対して所定の画像処理を施す画像処理部をさらに備えてもよい。

前記第１の波長帯の光は、可視領域以外の波長帯の光であってもよい。

前記筆跡情報取得システムは、前記第１の波長帯の光を投射する第１の光投射部と、前記第１の光投射部により投射された前記第１の波長帯の光を拡散させて前記第１の波長帯の光を前記圧力検出部に放出する第１の導光板部と、をさらに備えてもよい。

前記光吸収部は、前記第１の波長帯とは異なる第２の波長帯の光を透過し、前記光検出部は、前記光吸収部を透過して物体から反射された前記第２の波長帯の光をさらに検出し、前記筆跡情報取得システムは、前記光検出部により検出された前記第２の波長帯の光に基づいて前記物体を認識する物体認識部をさらに備えてもよい。

前記物体認識部は、前記物体の認識結果と前記光検出部による前記第２の波長帯の光の検出結果とに基づいて、前記物体の位置を基準とした前記検出領域の位置を算出してもよい。

前記筆跡情報取得システムは、前記第２の波長帯の光を投射する第２の光投射部と、前記第２の光投射部により投射された前記第２の波長帯の光を拡散させて前記第２の波長帯の光を前記物体に放出する第２の導光板部と、をさらに備えてもよい。

前記筆跡情報取得システムは、映像表示を行う映像表示用液晶パネル部と、白色光を投射する映像表示用光投射部と、前記映像表示用光投射部により投射された前記白色光を拡散させて前記白色光を前記映像表示用液晶パネル部に放出する映像光源用導光板部と、をさらに備えてもよい。

以上説明したように本発明によれば、記入用紙に対して記入を行う際に、特殊な筆記具を使うことなく、高精度の筆跡情報を取得することが可能である。

本発明の第１の実施形態に係る筆跡情報取得システムの機能構成例を示す図である。 本発明の第１の実施形態に係る筆跡情報取得システムの側面図の一例である。 記入用紙が記入面に置かれる前における筆跡情報取得システムの側面図の一例である。 記入用紙への記入時における筆跡情報取得システムの側面図の一例である。 記入用紙への記入終了後における筆跡情報取得システムの側面図の一例である。 本発明の第２の実施形態に係る筆跡情報取得システムの機能構成例を示す図である。 本発明の第２の実施形態に係る筆跡情報取得システムの側面図の一例である。 記入中における記入用紙の移動後に記入が再開された場合の様子を示す図である。 記入用紙の移動を考慮せずに取得される筆跡情報を示す図である。 記入用紙の移動を考慮して取得される筆跡情報を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

［第１の実施形態の説明］
まず、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａの機能構成例について説明する。図１は、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａの機能構成例を示す図である。図２は、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａの側面図の一例である。

図１に示すように、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａは、導光板部１０１、光投射部１０２、筆跡取得用液晶パネル部１０３、筆跡取得用光除去部１０４、電極部１０５、電極制御部１０６、画像取得部１０７および画像処理部１０８を備える。

導光板部１０１は、光投射部１０２により投射された第１の波長帯（以下、「波長帯α」とも言う。）の光を拡散させて波長帯αの光を筆跡取得用液晶パネル部１０３に放出する。例えば、導光板部１０１には、透明樹脂物体が内部に封入されている。透明樹脂物体は、例えば、光散乱性、あるいは、乱反射性を持つ小さなガラスビーズが内部に封入された透明な樹脂（例えば、アクリル樹脂）からなる板状の素材により構成される。

例えば、光投射部１０２から入射した光は、導光板部１０１の内部の空気との境界面において全反射され、封入されているガラスビーズにより散乱され（または反射され）、導光板部１０１を構成する両面から略均一に光を放出する。

光投射部１０２は、波長帯αの光を投射する第１の光投射部として機能する。光投射部１０２は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）アレイなどで構成される光源を有する。図２に示すように、光投射部１０２は、例えば、導光板部１０１の側面に配置され、導光板部１０１を構成する透明樹脂物体内に光を投射する。なお、光投射部１０２が映像出力装置と併用される場合、光投射部１０２は、可視領域外の光（例えば、近赤外領域の波長帯の光）を投射してもよい。

筆跡取得用液晶パネル部１０３は、圧力を検出した領域（以下、「検出領域」とも言う。）が光を透過する透過状態から光を反射する反射状態に変化する圧力検出部の一例として機能する。例えば、検出領域は、波長帯αの光を選択的に反射する反射状態に変化する。例えば、検出領域に対する圧力は、筆跡取得用液晶パネル部１０３に置かれた記入用紙への記入行為により筆記具から加えられる。筆記具としては何が用いられてもよいが、以下では、筆記具としてペンが用いられる場合について説明する。なお、ここでは、筆跡取得用液晶パネル部１０３を構成する両面のうち導光板部１０１（あるいは画像取得部１０７）の存する側とは反対側の面を記入面とし、記入面上において記入行為がなされる例について説明する。

例えば、筆跡取得用液晶パネル部１０３は、透過状態および反射状態のうちのいずれかの状態を外部からの電力供給なしに維持することができるという双安定の特徴を有してもよい。例えば、筆跡取得用液晶パネル部１０３は、コレステリック液晶のような液晶素材により構成される液晶パネルにより構成される。コレステリック液晶は、液晶分子が繋がれることにより周期的な螺旋構造を形成しており、この螺旋構造の繰り返し単位の長さ（以下、「螺旋ピッチ」とも言う。）に一致した波長の光を選択的に反射し、それ以外の波長帯の光を透過するという性質を有している。

例えば、螺旋の向きが横向き（例えば、筆跡取得用液晶パネル部１０３の面方向）である場合、螺旋は光を透過するが、螺旋のうち圧力を受けた部分は、螺旋の向きが崩れた状態に変化し、その状態が維持される。例えば、螺旋のうち圧力を受けた部分は、横向きから崩れて縦向き（例えば、筆跡取得用液晶パネル部１０３の面方向とは異なる方向）に変化し、縦向きの状態が維持される。その結果、螺旋のうち圧力を受けた部分は螺旋ピッチに応じた波長帯αの光を反射する。

例えば、筆跡取得用液晶パネル部１０３上において記入行為がなされた場合、筆圧がかかった部分の螺旋の向きが崩れた状態となり、その結果として筆圧がかかった部分が波長帯αの光を反射するようになる。

筆跡取得用光除去部１０４は、波長帯αの光を吸収する光吸収部の一例として機能する。図２に示すように、筆跡取得用光除去部１０４は、筆跡取得用液晶パネル部１０３を基準として導光板部１０１（あるいは画像取得部１０７）とは反対側に配置される。すなわち、筆跡取得用光除去部１０４は、筆跡取得用液晶パネル部１０３を構成する両面のうち記入面側に配置される。

このような配置により、筆跡取得用光除去部１０４は、導光板部１０１から放出されて筆跡取得用液晶パネル部１０３により透過された波長帯αの光を吸収し、その他の波長帯の光を透過することが可能である。このため、記入面上に置かれた記入用紙から波長帯αの光が反射してしまうことを防ぐことが可能であるため、記入用紙から反射した波長帯αの光の影響を低減し、筆跡情報を高精度に取得することができる。

また、筆跡取得用光除去部１０４は、記入面に対して照射される環境光に含まれる波長帯αの光を吸収することが可能である。このため、環境光の影響を低減し、筆跡情報を高精度に取得することができる。

電極部１０５は、筆跡取得用液晶パネル部１０３に対して電圧を印加することにより検出領域を透過状態に変化させる機能を有する。筆跡取得用液晶パネル部１０３を構成する液晶分子の螺旋の向きは、電圧（例えば、低い電圧）が印加されると、特定の向き（横向き）に戻るという性質を有している。この性質を利用して、電極部１０５は、反射状態になった検出領域を電圧印加により透過状態に戻すことができる。

検出領域が透過状態に戻った状態においては、導光板部１０１から放出された波長帯αの光は、筆跡取得用液晶パネル部１０３を透過し、筆跡取得用光除去部１０４により吸収される。そのため、この状態において画像取得部１０７により検出される波長帯αの光には、導光板部１０１から直接的に画像取得部１０７に放出される光のみが含まれることとなる。すなわち、筆跡がない状態が画像取得部１０７により検出される。

電極制御部１０６は、電極部１０５により筆跡取得用液晶パネル部１０３に印加される電圧の制御を行う機能を有する。例えば、電極制御部１０６は、記入用紙への記入がなされている間は、電圧を印加しないように電極部１０５を制御する。また、例えば、電極制御部１０６は、記入用紙への記入が終わった場合、あるいは、記入を最初から記入し直す場合などには、電圧を印加するように電極部１０５を制御する。

画像取得部１０７は、反射状態に変化した検出領域により反射された波長帯αの光を検出する光検出部の一例として機能する。例えば、画像取得部１０７は、カメラにより実現され、波長帯αの光を画像（例えば、動画、静止画など）として検出することができる。図２に示したように、例えば、画像取得部１０７は、筆跡取得用液晶パネル部１０３を基準として記入面側とは反対側に配置され、導光板部１０１からの光を検出する。

例えば、画像取得部１０７は、導光板部１０１から放出された波長帯αの光のみを透過し、それ以外の波長帯の光は透過させない性質を有するフィルタなどを通して、導光板部１０１からの光を検出してもよい。このようにすれば、画像取得部１０７は、波長帯αの光以外の外乱が混ざらないようにし、筆跡情報を取得するために用いる光を高精度に取得することが可能である。

なお、上記したような筆跡取得用光除去部１０４の機能により、画像取得部１０７により検出される光には、導光板部１０１のうち画像取得部１０７が存在する側の面から放出される波長帯αの光と上記の検出領域により反射された波長帯αの光とが含まれることとなる。

また、導光板部１０１から記入面側に放出された光のうち上記の検出領域により反射された光以外の波長帯αの光、あるいは、記入面を基準として画像取得部１０７の反対側の環境光に含まれる波長帯αの光は、筆跡取得用光除去部１０４によって吸収されてしまうため、画像取得部１０７により検出されない。

画像処理部１０８は、画像取得部１０７による波長帯αの光の検出結果としての画像に対して所定の画像処理を施す機能を有する。例えば、画像処理部１０８は、画像取得部１０７により取得された画像を筆跡情報の取得に適した形態へと処理する。筆跡情報の取得に適した形態への処理は、特に限定されない。

例えば、筆跡情報の取得に適した形態への処理は、画像取得部１０７により取得された画像のうち筆跡情報の取得には関与しない領域に対するマスク処理であってもよい。また、例えば、筆跡情報の取得に適した形態への処理は、カメラが複数台存在する場合には、当該複数台のカメラそれぞれにより撮像された画像を１枚の画像に結合させる処理であってもよい。

また、例えば、記入内容が反転した画像が画像取得部１０７により取得されてしまうため、筆跡情報の取得に適した形態への処理は、画像を反転させる処理であってもよい。画像取得部１０７により取得された画像に対して画像処理部１０８により所定の画像処理が施された結果には筆跡情報が含まれるため、筆跡情報を含んだイメージデータが取得され得る。

以上、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａの機能構成例について説明した。続いて、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａの動作について、さらに詳細に説明する。まず、記入用紙が記入面に置かれる前における筆跡情報取得システム１０Ａの動作について説明する。

図３は、記入用紙が記入面に置かれる前における筆跡情報取得システム１０Ａの側面図の一例である。図３に示すように、記入用紙が記入面に置かれる前において、波長帯αの光が光投射部１０２から導光板部１０１の内部に向けて放射される。導光板部１０１に入射された波長帯αの光は、空気との境界面で全反射をしながら導光板部１０１の内部を進み、封入されているガラスビーズにより、散乱（あるいは、乱反射）され、上下面（上面：筆跡取得用液晶パネル部１０３が存する側の面、下面：画像取得部１０７が配置されている側の面）より、外に向けて略均一に放出される。

図３には、上面から放出される波長帯αの光２０１ａ、下面から放出される波長帯αの光２０１ｂが示されている。また、図３には、記入面に照射される環境光に含まれる波長帯αの光２０１ｃが示されている。筆跡取得用液晶パネル部１０３は、波長帯αの光を選択的に反射する螺旋ピッチの液晶分子を備えており、液晶分子の螺旋の向きは横向きになっている。すなわち、筆跡取得用液晶パネル部１０３は、波長帯αの光を透過する透過状態となっている。そのため、光２０１ａは、筆跡取得用液晶パネル部１０３を透過する。

上記したように、筆跡取得用光除去部１０４は、波長帯αの光を吸収し、それ以外の波長帯の光を透過させる性質を有する。したがって、図３に示すように、光２０１ａおよび光２０１ｃは、筆跡取得用光除去部１０４によって除去される。したがって、図３に示したように、記入用紙が記入面に置かれる前においては、画像取得部１０７により、光２０１ｂは検出されるが、光２０１ａおよび光２０１ｃは検出されない。そのため、画像処理部１０８による処理結果は、筆跡情報が含まれないイメージデータとなる。

続いて、記入用紙への記入時における筆跡情報取得システム１０Ａの動作について説明する。図４は、記入用紙への記入時における筆跡情報取得システム１０Ａの側面図の一例である。図４に示された例では、筆跡取得用液晶パネル部１０３の記入面に置かれた記入用紙２０４に対してペン２０２による筆記が行われている。また、図４に示した例では、図３に示した光２０１ｃは省略されている。

ペン２０２によって記入用紙２０４に対する記入行為がなされることにより、記入用紙２０４には、ペン２０２のインクによって、筆跡２０５に示すような筆記が行われる。このとき、記入行為によりペン２０２によって筆跡取得用液晶パネル部１０３にも圧力がかかる。そのため、液晶分子のうちペン２０２がなぞった部分に相当する検出領域２０３の螺旋の向きは横向きから崩れ、検出領域２０３は、波長帯αの光を反射する状態となる。

導光板部１０１の上面から放出される波長帯αの光２０１ａのうち、検出領域２０３へ入射する光は、筆跡取得用光除去部１０４に到達する前に検出領域２０３において反射し、画像取得部１０７が存在する方向に進む。このようにして反射した光は、図４に示した例では、光２０１ｄとして示されている。

以上に示したように、記入用紙への記入時においては、筆跡取得用液晶パネル部１０３のうち検出領域２０３からは光２０１ｂおよび光２０１ｄが検出される。一方、記入用紙への記入時においては、筆跡取得用液晶パネル部１０３のうち検出領域２０３以外の領域からは光２０１ｂが検出される。したがって、検出領域２０３から検出される光の強度は検出領域２０３以外の領域から検出される光の強度より高いため、画像取得部１０７は、光の強度がより高い検出領域２０３を筆跡部分として検出することができる。そのため、画像処理部１０８による処理結果は、筆跡情報を含んだイメージデータとなる。

続いて、記入用紙への記入終了後における筆跡情報取得システム１０Ａの動作について説明する。図５は、記入用紙への記入終了後における筆跡情報取得システム１０Ａの側面図の一例である。図５に示された例では、筆跡取得用液晶パネル部１０３の記入面に置かれた記入用紙２０４に対してペン２０２による筆記が終了している。また、図５に示した例では、図３に示した光２０１ｃは省略されている。

上記したように、筆跡取得用液晶パネル部１０３は、電圧が印加されていない状態においては、液晶分子の螺旋の向きが維持されるという双安定の特徴を有している。そのため、記入用紙２０４に対する記入行為によって筆圧がかかった部分に相当する検出領域２０３は、波長帯αの光を反射する状態を維持している。当然、記入面から記入用紙２０４を取り除いた場合でも、筆圧がかかった部分に相当する検出領域２０３の反射状態は維持される。

以上に示したように、記入用紙への記入が終了した場合においても、筆跡取得用液晶パネル部１０３のうち検出領域２０３からは光２０１ｂおよび光２０１ｄが検出され、筆跡取得用液晶パネル部１０３のうち検出領域２０３以外の領域からは光２０１ｂが検出される。したがって、記入用紙への記入時と同様に、画像取得部１０７は、光の強度がより高い検出領域２０３を筆跡部分として検出することができる。そのため、画像処理部１０８による処理結果は、筆跡情報を含んだイメージデータとなる。

記入用紙への記入が終了し、電極制御部１０６が電極部１０５を制御すると、電極部１０５が電極制御部１０６による制御に基づいて、筆跡取得用液晶パネル部１０３に対して、電圧（例えば、低い電圧）を印加する。その結果、筆跡取得用液晶パネル部１０３を構成する液晶分子の螺旋向きは横向きとなり、液晶分子を透過状態へと戻すことができる。つまり、電極部１０５は、電極制御部１０６による制御に従って、筆跡取得用液晶パネル部１０３に残った筆跡をリセットすることができる。

以上、本発明の第１の実施形態について説明した。本発明の第１の実施形態によれば、筆跡取得用光除去部１０４は、筆跡取得用液晶パネル部１０３により透過された波長帯αの光を吸収し、その他の波長帯の光を透過することが可能である。このため、記入面上に置かれた記入用紙から波長帯αの光が反射してしまうことを防ぐことが可能であるため、記入用紙から反射した波長帯αの光の影響を低減し、筆跡情報を高精度に取得することができる。

また、筆跡取得用光除去部１０４は、記入面に対して照射される環境光に含まれる波長帯αの光を吸収することが可能である。このため、環境光の影響を低減し、筆跡情報を高精度に取得することができる。

［第２の実施形態の説明］
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態に係る筆跡情報取得システム１０Ａによれば、検出された光の強度に基づいて、筆圧がかかった部分（上記の例では、検出領域２０３）の位置（以下、「記入位置」とも言う。）を把握することが可能である。しかし、例えば、記入している途中で記入用紙を移動させて記入行為を再開した場合、記入面を基準とした記入位置を把握することはできるが、記入用紙を基準とした記入位置を把握することができない。したがって、例えば、記入用紙に記入欄が設けられている場合には、どの記入欄への記入がなされたのかを把握することができない。

そこで、本発明の第２の実施形態においては、記入用紙を認識し、記入用紙の認識結果に基づいて記入用紙を基準とした記入位置を把握することを可能とする技術について提案する。具体的には、本発明の第２の実施形態では、物体認識機能により、記入面上の記入用紙の位置、記入用紙を基準とした記入欄の位置などの情報が得られるため、記入用紙内の記入欄に記入された状態の筆跡情報のイメージデータを得ることができる。

また、本発明の第２の実施形態によれば、記入中に記入用紙の位置に変化があったとしても、筆跡情報のイメージデータにする際に記入用紙の記入欄に筆跡部分が入るように調整された状態で保管できる。また、物体認識機能により記入用紙の種類が得られる場合には、記入用紙の種類ごとに記入欄の位置が異なる場合であっても、記入欄に記入された状態の筆跡情報のイメージデータを得ることができる。

まず、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂの機能構成例について説明する。図６は、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂの機能構成例を示す図である。図７は、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂの側面図の一例である。図６に示すように、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂは、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａと同様に、筆跡取得用液晶パネル部１０３、筆跡取得用光除去部１０４、電極部１０５および電極制御部１０６を備える。

また、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂは、認識用導光板部３０１ａ、映像光源用導光板部３０１ｂ、筆跡取得用光投射部３０２ａ、物体認識用光投射部３０２ｂ、映像表示用光投射部３０２ｃ、映像表示用液晶パネル部３０３、画像取得部３０４、画像処理部３０５、物体認識部３０６およびデータベース３０７を備える。

認識用導光板部３０１ａは、本発明の第１の実施形態に係る導光板部１０１と同様の構成および性質を有する。例えば、認識用導光板部３０１ａは、筆跡取得用光投射部３０２ａにより投射された波長帯αの光を拡散させて波長帯αの光を筆跡取得用液晶パネル部１０３に放出する。さらに、認識用導光板部３０１ａは、物体認識用光投射部３０２ｂにより投射された第２の波長帯（以下、「波長帯β」とも言う。）の光を拡散させて波長帯αの光を筆跡取得用液晶パネル部１０３に放出する。波長帯αと波長帯βとは異なる波長帯である。

映像光源用導光板部３０１ｂは、本発明の第１の実施形態に係る導光板部１０１と同様の構成および性質を有する。図７に示すように、映像光源用導光板部３０１ｂは、映像表示用液晶パネル部３０３の背面側に位置し、映像表示用光投射部３０２ｃにより投射された白色光を拡散させて白色光を映像表示用液晶パネル部３０３に放出する。すなわち、映像光源用導光板部３０１ｂは、映像表示用液晶パネル部３０３のバックライトの役割を果たす。

筆跡取得用光投射部３０２ａは、本発明の第１の実施形態に係る導光板部１０１と同様の構成および性質を有する。例えば、図７に示したように、筆跡取得用光投射部３０２ａが映像表示用液晶パネル部３０３による映像表示と併用される場合には、筆跡取得用光投射部３０２ａにより投射される光としては、映像表示と干渉しない可視領域以外の光（例えば、近赤外線領域の光）であり、かつ、物体認識用の光の波長帯βとは異なる波長帯αの光を用いればよい。

物体認識用光投射部３０２ｂは、ＬＥＤアレイなどで構成される光源を有する。図７に示すように、物体認識用光投射部３０２ｂは、例えば、認識用導光板部３０１ａの側面に配置され、認識用導光板部３０１ａを構成する透明樹脂物体内に光を投射する。例えば、図７に示したように、物体認識用光投射部３０２ｂが映像表示用液晶パネル部３０３による映像表示と併用される場合には、物体認識用光投射部３０２ｂにより投射される光としては、映像表示と干渉しない可視領域以外の光（例えば、近赤外線領域の光）であり、かつ、筆跡取得用の光の波長帯αとは異なる波長帯βの光を用いればよい。

映像表示用光投射部３０２ｃは、ＬＥＤアレイなどで構成される光源を有する。図７に示すように、映像表示用光投射部３０２ｃは、映像光源用導光板部３０１ｂの側面に配置され、映像光源用導光板部３０１ｂを構成する透明樹脂物体内に光を投射する。例えば、映像表示用光投射部３０２ｃの光源は、映像表示用液晶パネル部３０３のバックライトの光源として使用されるため、可視領域内の白色光を投射する。

なお、例えば、筆跡取得用光投射部３０２ａから投射される光が可視領域以外の光であり、物体認識用光投射部３０２ｂから投射される光が可視領域以外の光である場合、それぞれの光の検出に影響を及ぼすことを避けてもよい。すなわち、例えば、映像表示用光投射部３０２ｃから投射される白色光を、可視領域の光は透過させるとともに可視領域以外の領域の光はカットするフィルタを通してから、映像光源用導光板部３０１ｂに入光させてもよい。

映像表示用液晶パネル部３０３は、映像表示機能を有する。例えば、映像表示用液晶パネル部３０３は、映像表示機能を有する液晶パネルにより構成される。また、映像表示用液晶パネル部３０３は、映像出力を制御する機能をさらに備えてもよい。ここで、映像表示用液晶パネル部３０３により表示される映像の内容は、特に限定されない。また、映像表示用液晶パネル部３０３のバックライトとなる白色光は、映像光源用導光板部３０１ｂにより供給される。

画像取得部３０４は、本発明の第１の実施形態に係る画像取得部１０７と同様に、反射状態に変化した検出領域により反射された波長帯αの光を検出する光検出部の一例として機能する。また、筆跡取得用光除去部１０４は波長帯αの光は反射する一方、波長帯βの光を透過する。そのため、画像取得部３０４は、筆跡取得用光除去部１０４の上に置かれた記入用紙から反射されて筆跡取得用光除去部１０４を透過した波長帯βの光をさらに検出する機能を有する。記入用紙は物体の一例であるため、記入用紙の代わりに他の物体が用いられてもよい。

例えば、画像取得部３０４は、カメラにより実現され、波長帯αの光および波長帯βの光を画像（例えば、動画、静止画など）として検出することができる。図７に示したように、例えば、画像取得部３０４は、筆跡取得用液晶パネル部１０３を基準として記入面側とは反対側に配置され、認識用導光板部３０１ａおよび筆跡取得用光投射部３０２ａからの光を検出する。

例えば、画像取得部３０４は、筆跡取得用光投射部３０２ａから投射された波長帯αの光と物体認識用光投射部３０２ｂから投射された波長帯βの光のみを透過し、それ以外の波長帯の光は透過させない性質を有するフィルタなどを通して、認識用導光板部３０１ａからの光を検出してもよい。このようにすれば、画像取得部３０４は、波長帯αの光と波長帯βの光以外の外乱が混ざらないようにし、筆跡情報を取得するために用いる光と記入用紙を認識するために用いる光とを高精度に取得することが可能である。

なお、上記したような筆跡取得用光除去部１０４の機能により、画像取得部３０４により検出される光には、認識用導光板部３０１ａのうち画像取得部３０４が存在する側の面から放出される特定の波長帯の光（波長帯αの光および波長帯βの光）と上記の検出領域により反射された波長帯αの光と記入面上に置かれた記入用紙によって反射された波長帯βの光とが含まれることとなる。

このように、画像取得部３０４により筆跡取得用の波長帯αの光と物体認識用の波長帯βの光とが検出されるが、これらの光の検出の手法としては様々な手法が想定される。例えば、波長帯αおよび波長帯βそれぞれの波長帯のみを検出範囲とするカメラが別個に備えられてもよいし、波長帯αおよび波長帯βそれぞれの波長帯のみを通過させるフィルタを連続で切り替えながら光を検出してもよい。

また、認識用導光板部３０１ａから記入面側に放出された光のうち上記の検出領域により反射された光以外の波長帯αの光、あるいは、記入面を基準として画像取得部３０４の反対側の環境光に含まれる波長帯αの光は、筆跡取得用光除去部１０４によって吸収されてしまうため、画像取得部３０４により検出されない。

画像処理部３０５は、画像取得部３０４による波長帯αの光の検出結果としての画像に対して所定の画像処理を施す機能を有する。例えば、画像処理部３０５は、画像取得部３０４により取得された画像を筆跡情報の取得および物体認識に適した形態へと処理する。筆跡情報の取得および物体認識に適した形態への処理は、特に限定されない。

例えば、筆跡情報の取得および物体認識に適した形態への処理は、画像取得部３０４により取得された画像のうち筆跡情報の取得および物体認識には関与しない領域に対するマスク処理であってもよい。また、例えば、筆跡情報の取得および物体認識に適した形態への処理は、波長帯αの光および波長帯βの光それぞれの検出結果ごとに画像を分離する処理であってもよい。

また、例えば、筆跡情報の取得および物体認識に適した形態への処理は、カメラが複数台存在する場合には、当該複数台のカメラそれぞれにより撮像された画像を１枚の画像に結合させる処理であってもよい。また、例えば、記入内容が反転した画像が画像取得部３０４により取得されてしまうため、筆跡情報の取得および物体認識に適した形態への処理は、画像を反転させる処理であってもよい。

画像処理が施された結果として得られる波長帯αの検出結果（すなわち、波長帯αについての検出画像）には筆跡情報が含まれるため、筆跡情報を含んだイメージデータが取得され得る。一方、画像処理が施された結果として得られる波長帯βの検出結果（すなわち、波長帯βについての検出画像）には物体が映っている。したがって、波長帯βについての検出画像として物体が映ったイメージデータが取得され得る。

物体認識部３０６は、画像取得部３０４により取得された波長帯βの光に基づいて物体を認識する機能を有する。より詳細には、物体認識部３０６は、波長帯βについての検出画像とデータベース３０７に登録されている物体に関する情報とに基づいて、波長帯βについての検出画像に映っている物体を認識する。物体の認識においては、記入面に置かれた物体の種類、記入面上における当該物体の位置などが認識され得る。

さらに、物体認識部３０６は、記入面に置かれた物体の認識結果と波長帯βの光の検出結果（すなわち、波長帯βについての検出画像）とに基づいて、物体の所定位置を基準とした検出領域の位置を算出することもできる。例えば、物体認識部３０６は、記入面上における物体の位置を認識した場合には、記入面上における物体の位置を基準とした検出領域の相対的な位置を算出することができる。

データベース３０７は、物体に関する情報を記憶する記憶部として機能する。例えば、物体に関する情報は、物体の種類と物体の特徴量とが関連付けられた情報を含んでいる。したがって、データベース３０７に登録されている物体の特徴量と波長帯βについての検出画像から抽出される特徴量との照合結果に基づいて、波長帯βについての検出画像に映っている物体の種類が特定され得る。物体の特徴量は、物体自体の形状であってもよいし、物体に付されたマーカの形状であってもよい。

ここで、筆跡情報の取得の手法としては、本発明の第１の実施形態において説明した手法と同様の手法を用いることができる。また、記入面上に置かれた物体の認識手法に関しては、上記の特許文献１に記載された技術を用いることができる。ここでは、一例として、記入欄の存在する記入用紙に対する記入行為の場面において、物体認識が可能となることによって、筆跡情報の取得精度を向上させる仕組みについて説明する。

なお、記入用紙に関する情報（例えば、記入用紙の種類、記入用紙のサイズ、記入欄の構成など）は、データベース３０７にあらかじめ登録しておくことができる。また、記入欄の構成には、例えば、記入用紙の所定位置を基準とした各記入欄の位置、形状、サイズなどが含まれる。

筆跡取得用光除去部１０４は、波長帯αの光のみを吸収し、その他の波長帯の光は透過する性質を有するため、波長帯βの光は筆跡取得用光除去部１０４により影響を受けない。そこで、認識用導光板部３０１ａにより記入面へ向かって放出された波長帯βの光は、記入面上に置かれた記入用紙により反射され、画像取得部３０４により検出され、画像処理部３０５によって物体認識に適した形態に処理される。

物体認識部３０６は、波長帯βについての検出画像とデータベース３０７に登録されている記入用紙に関する情報とに基づいて、記入面上に置かれている記入用紙の種類、記入面上での記入用紙の位置、記入面上での記入用紙の姿勢、記入面上における記入欄の位置などの情報を得ることができる。

記入用紙（各記入欄）に対して記入行為が行われると、筆跡取得用液晶パネル部１０３のうち筆圧がかかった部分は、波長帯αの光を反射する状態となり、画像取得部３０４により筆跡情報として取得される。記入行為がなされている間、記入面上での記入用紙の位置姿勢が変化した場合でも、物体認識部３０６により記入面上の物体認識により変化後の記入用紙（各記入欄）の位置姿勢が認識され得る。

そのため、物体認識部３０６は、記入用紙の所定位置を基準とした記入位置を把握することが可能となる。記入用紙の所定位置は特に限定されず、例えば、記入用紙が矩形である場合には、記入用紙の四隅のいずれかの位置であってもよい。画像処理部３０５は、記入用紙の所定位置を基準とした記入位置とその記入内容とが各記入欄について認識された場合には、その各記入位置に基づいて各記入内容を統合することによって、実際にペンにより記入用紙に記入された筆跡情報と同様のイメージデータを得ることができる。

また、筆跡取得用液晶パネル部１０３は、圧力に反応するため、記入行為の際に記入面に接触している手の一部にも反応してしまう場合がある。しかし、記入用紙の位置、記入欄の位置が把握されているため、検出される筆跡取得用液晶パネル部１０３の変化が、筆跡によるものか否かを判別することができる。

筆跡によるものではないと判別された変化は、画像処理部３０５によってイメージデータにされる際に無視されてもよい。あるいは、電極制御部１０６が電極部１０５によって電圧を印加する筆跡取得用液晶パネル部１０３における領域を制御することで、当該変化が起こった領域に対してリセットをかけるといった処置を取ることもできる。

以上、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂの機能構成例について説明した。続いて、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂの動作について、さらに詳細に説明する。

図８は、記入中における記入用紙の移動後に記入が再開された場合の様子を示す図である。図８に示したように、記入面４０１の上に記入用紙４０２が置かれている状態４００ａがあったとする。かかる状態において記入用紙４０２が途中まで記入された時点で、記入面４０１において記入用紙４０２を移動させて状態４００ｂとしたとする。

このように記入中に記入用紙４０２の位置が変化した場合に取得される筆跡情報について、本発明の第１の実施形態に係る筆跡情報取得システム１０Ａを用いた場合と本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂを用いた場合とを比較しながら説明する。図９は、記入用紙４０２の移動を考慮せずに取得される筆跡情報を示す図である。図１０は、記入用紙４０２の移動を考慮して取得される筆跡情報を示す図である。

本発明の第１の実施形態に係る筆跡情報取得システム１０Ａのように、記入面４０１に置かれた物体の認識機能がない場合、記入面４０１上の記入用紙４０２に関する情報が得られない。そのため、画像処理部１０８による画像処理の結果として得られるイメージデータには、例えば、図９に示した筆跡情報５０１が記入面４０１における記入位置として含まれる。

一方、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂのように、記入面４０１に置かれた物体の認識機能がある場合には、記入面４０１上の記入用紙４０２に関する情報が得られる。そのため、画像処理部３０５による画像処理の結果として得られるイメージデータには、例えば、図１０に示した筆跡情報５０２が記入面４０１における記入位置として含まれる。すなわち、本発明の第２の実施形態に係る筆跡情報取得システム１０Ｂによれば、記入用紙の移動を考慮した筆跡情報を取得することができる。

以上、本発明の第２の実施形態について説明した。本発明の第２の実施形態によれば、物体認識を利用することによって、筆跡情報の精度を向上させることができる。例えば、筆跡情報の取得のために用いる光（上記の例では波長帯αの光）と物体認識のために用いる光（上記の例では波長帯βの光）とには干渉しない異なる波長帯の光（例えば、近赤外線領域の光）を使用する。これにより、筆跡取得および物体認識を独立して行うことが可能となるため、記入用紙のどの場所に対する記入がなされたのかを認識することが可能となる。

また、例えば、筆跡情報の取得のために用いる光の波長帯（上記の例では波長帯α）、物体認識のために用いる光の波長帯（上記の例では波長帯β）、フィルタなどには、可視領域には干渉しない波長帯の光を用いることができる。そのため、これらの光が人間の目による映像情報の閲覧に影響を与えることがない。

［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明の第１の実施形態において、圧力を受けたことにより筆跡取得用の波長帯αの光を反射する領域に変化した検出領域に関して、検出領域の広さなどにより、その検出領域の変化が筆跡によるものか、あるいはそれ以外の要因（例えば、手の一部分の接触）によるものかといった判別を画像処理部１０８において行ってもよい。

また、本発明の第１の実施形態および本発明の第２の実施形態においては、筆跡取得用液晶パネル部１０３は圧力に反応する。そのため、記入面上に対して圧力をかけた場合、記入面上に対してかけられる圧力も検出することができる。また、画像取得部３０４による画像の取得速度に合わせて、電極部１０５による電圧印加によってリセットをかけることで、指によるタッチ、ストロークなども検知することが可能である。

また、映像情報の位置とペンによる記入面への接触状態との関係も認識できるため、映像情報に対するペンによる電子的な入力も実現することが可能である。すなわち、映像情報の位置とタッチ入力との関係から、映像情報に対する入力インタフェースといった働きをすることも可能である。また、指と記入面の間に紙のような物体が入っている状態であっても指を検知可能なため、紙に対して指を使ったインタラクションを行うといったことも可能である。

本実施形態で挙げた構成においては、筆跡情報の取得、物体認識、映像表示のために用いる光を、導光板を用いて放出する形態により実現しているが、記入面側に向けて光を放出する手段としては別の手段を用いてもよい。

電極制御部１０６、画像処理部１０８、画像処理部３０５、物体認識部３０６を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶部により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

１０Ａ、１０Ｂ 筆跡情報取得システム
１０１ 導光板部
１０２ 光投射部
１０３ 筆跡取得用液晶パネル部（圧力検出部）
１０４ 筆跡取得用光除去部（光吸収部）
１０５ 電極部
１０６ 電極制御部
１０７ 画像取得部（光検出部）
１０８ 画像処理部
２０２ ペン
２０３ 検出領域
２０４ 記入用紙
２０５ 筆跡
３０１ａ 認識用導光板部
３０１ｂ 映像光源用導光板部
３０２ａ 筆跡取得用光投射部
３０２ｂ 物体認識用光投射部
３０２ｃ 映像表示用光投射部
３０３ 映像表示用液晶パネル部
３０４ 画像取得部（光検出部）
３０５ 画像処理部
３０６ 物体認識部
３０７ データベース

Claims (9)

1. 圧力を検出して第１の波長帯の光を透過する透過状態から前記第１の波長帯の光を反射する反射状態に変化した検出領域を有する圧力検出部と、
   前記検出領域により反射された前記第１の波長帯の光を検出する光検出部と、
   前記第１の波長帯の光を吸収する光吸収部と、
   を備え、
   前記光吸収部は、前記圧力検出部を基準として前記光検出部とは反対側に配置される、筆跡情報取得システム。
2. 前記筆跡情報取得システムは、
   前記圧力検出部に対して電圧を印加することにより前記検出領域を前記透過状態に変化させる電極部をさらに備える、
   請求項１に記載の筆跡情報取得システム。
3. 前記筆跡情報取得システムは、
   前記光検出部による前記第１の波長帯の光の検出結果に対して所定の画像処理を施す画像処理部をさらに備える、
   請求項１に記載の筆跡情報取得システム。
4. 前記第１の波長帯の光は、可視領域以外の波長帯の光である、
   請求項１に記載の筆跡情報取得システム。
5. 前記筆跡情報取得システムは、
   前記第１の波長帯の光を投射する第１の光投射部と、
   前記第１の光投射部により投射された前記第１の波長帯の光を拡散させて前記第１の波長帯の光を前記圧力検出部に放出する第１の導光板部と、
   をさらに備える、請求項１に記載の筆跡情報取得システム。
6. 前記光吸収部は、前記第１の波長帯とは異なる第２の波長帯の光を透過し、
   前記光検出部は、前記光吸収部を透過して物体から反射された前記第２の波長帯の光をさらに検出し、
   前記筆跡情報取得システムは、
   前記光検出部により検出された前記第２の波長帯の光に基づいて前記物体を認識する物体認識部をさらに備える、
   請求項１に記載の筆跡情報取得システム。
7. 前記物体認識部は、前記物体の認識結果と前記光検出部による前記第２の波長帯の光の検出結果とに基づいて、前記物体の位置を基準とした前記検出領域の位置を算出する、
   請求項６に記載の筆跡情報取得システム。
8. 前記筆跡情報取得システムは、
   前記第２の波長帯の光を投射する第２の光投射部と、
   前記第２の光投射部により投射された前記第２の波長帯の光を拡散させて前記第２の波長帯の光を前記物体に放出する第２の導光板部と、
   をさらに備える、請求項６に記載の筆跡情報取得システム。
9. 前記筆跡情報取得システムは、
   映像表示を行う映像表示用液晶パネル部と、
   白色光を投射する映像表示用光投射部と、
   前記映像表示用光投射部により投射された前記白色光を拡散させて前記白色光を前記映像表示用液晶パネル部に放出する映像光源用導光板部と、
   をさらに備える、請求項６に記載の筆跡情報取得システム。
   

Images