JP2014203119A - 入力装置、入力処理方法及びプログラム - Google Patents

Abstract

【課題】文書に対するユーザによる手書き入力を安定して行うことのできる仕組みを提供することを目的とする。【解決手段】携帯型の入力装置であって、撮像手段により撮像された撮像画像に文書が示されるか否かに基づいて、撮像手段の状態を判定する状態判定手段と、状態判定手段により、撮像手段に文書が重ねられた第１の重なり状態と判定された場合に、文書を示す文書情報を表示する表示手段と、表示手段に表示された文書情報へのユーザによる描画入力を受け付ける受付手段とを有することによって課題を解決する。【選択図】図２

Description

本発明は、入力装置、入力処理方法及びプログラムに関する。

従来、カメラから取得した画像に、情報を重ね合わせて表示するものとしては、拡張現実が知られている。例えば、特許文献１においては、撮影した文書に関連する情報を重ねて表示する技術が開示されている。

特開２０１１−８７５２号公報

しかしながら、入力装置が備えるカメラにおいて文書を撮影し、撮影した文書を表示した状態において、ユーザが手書き入力を行う場合、筆圧やストロークなどの手書き動作が生み出す作用によって入力装置が動いてしまう。このため、表示される文書が動いてしまい、手書き入力し難いという問題があった。一方で、書き込みのために入力装置を机などに置いた場合には、文書を撮像することができないため、撮像した文書を表示できなくなるという問題があった。

本発明はこのような問題点に鑑みなされたもので、文書に対するユーザによる手書き入力を安定して行うことのできる仕組みを提供することを目的とする。

そこで、本発明は、携帯型の入力装置であって、撮像手段により撮像された撮像画像に文書が示されるか否かに基づいて、前記撮像手段の状態を判定する状態判定手段と、前記状態判定手段により、前記撮像手段に前記文書が重ねられた第１の重なり状態と判定された場合に、前記文書を示す文書情報を表示する表示手段と、前記表示手段に表示された前記文書情報へのユーザによる描画入力を受け付ける受付手段とを有することを特徴とする。

本発明によれば、文書に対するユーザによる手書き入力を安定して行うことのできる仕組みを提供することができる。

入力装置１００を示す図である。 制御部を示す図である。 中空状態における表示例を示す図である。 文書重なり状態における表示例を示す図である。 接地状態における表示例を示す図である。 表示制御処理を示すフローチャートである。 状態判定処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、携帯型の入力装置１００を示す図である。制御部１０１は、入力装置１００全体を制御する。制御部１０１は、ＣＰＵを含む。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０２は、変更を必要としないプログラムやパラメータを格納する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０３は、外部装置などから供給されるプログラムやデータを一時記憶する。
外部記憶部１０４は、入力装置１００に固定して設置されたハードディスクである。また、他の例としては、外部記憶部１０４は、メモリカード、着脱可能なフレキシブルディスク（ＦＤ）、Ｃｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気カード、光カード、ＩＣカード、メモリカードなどを含む外部記憶手段であってもよい。
入力部１０５は、ユーザの操作を受け、データを入力するタッチパネルなど入力手段である。表示部１０６は、入力装置１００が保持するデータや、供給されたデータを表示するためのディスプレイなど表示手段である。

撮像部１０７は、画像を撮像し、撮像画像を得る。具体的には、撮像部１０７は、レンズなどを通して集光された光をＣＣＤなどの撮像素子によって電気信号に変換する。撮像部１０７は、さらに電気信号に対し画像処理を施すことで撮像画像を得る。ここで、撮像画像は、動画である。なお、他の例としては、撮像画像は静止画であってもよい。
ここで、表示部１０６は、入力装置１００の第１面に配置されている。一方、撮像部１０７は、入力装置１００の第２面に配置されている。ここで、第２面は、第１面の裏面である。

通信部１０８は、インターネットなどのネットワークに接続するために無線などによって通信を行う。システムバス１０９は、入力装置１００の各部１０１〜１０８を通信可能に接続する。
なお、後述する入力装置１００の機能や処理は、ＣＰＵがＲＯＭ１０２又は外部記憶部１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、制御部１０１を示す図である。照度特定部２００は、撮像部１０７により検出された照度を特定する。文書記憶部２０１は、文書情報とＡＲ情報とを文書情報を識別する文書識別子に対応付けて格納する。ここで、文書情報は、文書画像情報である。また、他の例としては、文書情報は、ＰＤＦなどの電子ドキュメントであってもよい。
ＡＲ情報は、文書情報上に重ねて表示される重畳情報である。重畳情報は例えば、画像情報などである。ＡＲ情報は、ユーザが文書情報上に描画入力することにより得られる描画情報である。なお、ＡＲ情報は、文書識別子により、重ねられるべき文書情報に対応付けて格納される。また、ＡＲ情報は、文書情報上における配置位置を含んでいる。これらの情報は、外部記憶部１０４等に格納される。

文書認識部２０２は、撮像部１０７によって得られた撮像画像に文書が示されるか否かを認識する。具体的には、文書認識部２０２は、撮像画像と、文書記憶部２０１に格納されている文書情報との局所的な特徴量（局所特徴量）に基づいて、両者の類似度を算出する。そして、文書認識部２０２は、類似度に基づいて、撮像画像に文書が示されるか否か、すなわち撮像画像に対応する文書情報が文書記憶部２０１に格納されているか否かを認識する。
例えば、撮像画像に示される文書と文書情報に示される文書とが同一の文書である場合には、撮像画像と文書情報の類似度は高くなる。そこで、文書認識部２０２は、類似度が類似度閾値以上である場合に、撮像画像に文書情報が示す文書が示されている、すなわち、撮像画像に対応する文書情報が存在すると判断する。ここで、類似度閾値は、予め設定されているものとする。類似画像を検索する技術については、例えば、特開２０１０−１０２５０１号公報を参照することができる。
また、他の例としては、文書情報に対し、二次元バーコードを付与しておくこととしてもよい。ここで、二次元バーコードは、予め文書情報に関する情報を示す。この場合には、文書認識部２０２は、二次元バーコードの情報に基づいて、撮像画像に対応する文書情報を検索する。また、他の例としては、文書情報に対し、予め電子透かしなどを施した画像を埋め込んでおくこととしてもよい。この場合には、文書認識部２０２は、電子透かしに基づいて、撮像画像に対応する文書情報を検索する。

状態判定部２０３は、文書認識部２０２による認識結果及び照度特定部２００により特定された照度に基づいて、入力装置１００の配置の状態、すなわち撮像部１０７の状態を判定する。本実施形態においては、状態判定部２０３は、配置の状態として、文書重なり状態、中空状態及び接地状態の３つの状態のいずれにあるかを判定する。ここで、文書重なり状態は、入力装置１００が重畳対象となる文書の上に置かれ、撮像部１０７に文書が重ねられている状態である。ここで、文書重なり状態は、第１の重なり状態の一例である。
中空状態は、入力装置がユーザの手などによって支持され、撮像部１０７に文書や机などのオブジェクトが重なっていない状態である。中空状態は、非重なり状態の一例である。接地状態は、入力装置１００が例えば机の上など文書以外のオブジェクト上に置かれ、撮像部１０７にオブジェクトが重ねられている状態である。ここで、接地状態は、第２の重なり状態の一例である。
なお、文書重なり状態及び接地状態においては、撮像部１０７に文書やオブジェクトが重ねられている。このため、文書重なり状態又は接地状態において、撮像部１０７により得られる撮像画像は黒画像となる。

透過画像生成部２０４は、透過画像を生成する。ここで、透過画像とは、表示部１０６が透過型である場合に、表示部１０６に表示されるべき仮想的な画像である。本実施形態にかかる透過画像は、入力装置１００がユーザにより保持されるなど、中空において支持された状態において、表示部１０６の裏面に設けられた撮像部１０７により撮像された撮像画像に基づいて生成される。
具体的には、透過画像生成部２０４は、撮像部１０７により得られた撮像画像を取得する。そして、透過画像生成部２０４は、文書認識部２０２により撮像画像に対応する文書情報を特定する。透過画像生成部２０４はさらに、特定した文書情報に対応付けられているＡＲ情報の有無を確認する。対応するＡＲ情報が存在する場合には、透過画像生成部２０４は、ＡＲ情報を撮像画像に重ねて透過画像を生成する。一方、ＡＲ情報が存在しない場合には、透過画像生成部２０４は、撮像画像を透過画像として生成する。

入力用情報生成部２０５は、入力用情報を生成する。ここで、入力用情報とは、文書情報上へのユーザ入力を受け付けるための表示画像である。ユーザは、入力用情報として文書情報が表示された状態において、表示された文書情報に重ねて手書き入力を行うことができる。入力用情報生成部２０５は具体的には、まず表示制御部２０６により文書情報が指定されると、指定された文書情報を文書記憶部２０１から取得する。入力用情報生成部２０５は、さらに、指定された文書情報に対応付けられているＡＲ情報の有無を確認する。対応するＡＲ情報が存在する場合には、入力用情報生成部２０５は、ＡＲ情報を文書情報に重ねて入力用情報を生成する。一方、ＡＲ情報が存在しない場合には、入力用情報生成部２０５は、文書情報を入力用情報として得る。
入力用情報生成部２０５は、表示制御部２０６より指定された文書情報が電子ドキュメントの場合には、このドキュメントをレンダリングする。そして、入力用情報生成部２０５は、レンダリング後の文書情報に適宜ＡＲ情報を重ねる。なお、文書情報が画像データである場合には、入力用情報生成部２０５は、画像データの文書情報に適宜ＡＲ情報を重ねる。

表示制御部２０６は、状態判定部２０３により判定された状態に基づいて、表示部１０６の表示を制御する。表示制御部２０６による表示制御処理については、図６を参照しつつ後述する。また、表示部１０６の表示例については、図３〜図５を参照しつつ後述する。
入力情報取得部２０７は、入力部１０５から入力された情報を取得する。入力情報取得部２０７は、例えば、表示部１０６に文書情報が表示されている状態において、文書情報上に、ユーザにより手書き入力された描画情報を取得する。入力情報取得部２０７はさらに、描画情報に基づいてＡＲ情報を生成する。そして、入力情報取得部２０７は、生成したＡＲ情報を、表示部１０６に表示中の文書情報に対応付けて文書記憶部２０１に格納する。

次に、入力装置の状態と、各状態において表示部１０６に表示される表示例とについて説明する。図３は、中空状態における表示部１０６の表示例を示す図である。図３の（ａ）及び（ｂ）に示すように、机３００等のオブジェクト上に文書３０１が置かれているとする。そして、入力装置１００は、例えばユーザの手により支持され、撮像部１０７のレンズが文書３０１に向けられているとする。この場合に、状態判定部２０３は、中空状態と判定する。
さらに、中空状態においては、表示制御部２０６は、透過画面を表示部１０６に表示する。透過画面は、透過画像生成部２０４により生成された透過画像を示す表示画面である。なお、透過画像生成部２０４は、撮像部１０７により撮像された撮像画像又は撮像画像にＡＲ情報が重畳された画像を透過画像として生成する。ここで、撮像画像には、机の上に置かれた文書３０１を示す文書画像３０４が含まれている。

図３（ａ）は、ＡＲ情報が存在しない場合に表示される透過画面３１２を示す図である。ＡＲ情報が存在しない場合には、撮像画像３０３に、ＡＲ情報は重畳されない。すなわち、透過画面３１２にＡＲ情報は表示されない。すなわち、この場合には、表示制御部２０６は、文書３０２を示す撮像画像３０３を透過画像として示す透過画面３１２を表示部１０６に表示する。
一方、図３（ｂ）に示す例は、ＡＲ情報が存在する場合を示している。この場合には、表示制御部２０６は、撮像画像３０３上にハートマークのＡＲ情報３０５が重畳された透過画像を示す透過画面３０６を表示部１０６に表示する。
このように、中空状態においては、表示制御部２０６は、撮像部１０７により得られた撮像画像を透過画像として表示部１０６に表示する。さらに、撮像画像に対応するＡＲ情報が存在する場合には、表示制御部２０６は、撮像画像にＡＲ情報を重ね合わせた画像を透過画像として表示部１０６に表示する。したがって、表示部１０６には、実際の文書３０１に存在しないＡＲ情報も併せて表示されることとなる。これにより、ユーザは、透過画像からより豊富な情報を得ることができる。

図４は、文書重なり状態における表示部１０６の表示例を示す図である。図４（ａ）及び（ｂ）に示すように、文書の上に入力装置１００が置かれているとする。この場合、状態判定部２０３は、文書重なり状態と判定する。さらに、文書重なり状態においては、表示制御部２０６は、文書入力画面を表示部１０６に表示する。文書入力画面は、入力用情報生成部２０５により生成された入力用情報を示す表示画面である。なお、入力用情報生成部２０５は、文書情報又はＡＲ情報が重畳された文書情報を入力用情報として生成する。
文書入力画面において、ユーザは、入力部１０５を介して入力用情報上への書き込みを行うことができる。具体的には、タッチパネル上を、指やスタイラスペンなどによって触れることによって入力を行うことができる。

図４（ａ）に示す例は、ユーザによる書き込みがなされていない状態を示している。この場合には、表示制御部２０６は、ＡＲ情報を含まない文書情報を示す文書入力画面３２０を表示部１０６に表示する。図４（ｂ）に示す例は、図４（ａ）に示す文書入力画面３２０に対して、ユーザがハートマークを書き込んだ状態を示している。この場合には、書き込まれたハートマークに対応するＡＲ情報３２１が文書入力画面３２０に重畳表示される。
さらにこの場合には、入力情報取得部２０７は、ユーザにより書き込まれたハートマークの軌跡画像をＡＲ情報として生成する。入力情報取得部２０７はさらに、生成したＡＲ情報を、文書入力画面３２０に含まれる文書情報に対応付けて文書記憶部２０１に格納する。このように、入力情報取得部２０７は、文書入力画面において入力された情報をＡＲ情報として、文書に対応付けて格納することができる。

図５は、接地状態における表示部１０６の表示例を示す図である。図５に示すように、入力装置１００は、机３００の上に置かれているとする。なお、入力装置１００の下には、文書などは存在しない。この場合に、状態判定部２０３は、接地状態と判定する。
接地状態においては、表示制御部２０６は、文書選択画面４００を表示部１０６に表示する。文書選択画面４００は、文書情報の縮小画像の一覧を表示する。ここで、文書選択画面４００に含まれる文書情報は、入力装置１００が机３００に置かれる前に撮像部１０７により得られた１又は２以上の撮像画像中に示される文書に対応するものである。
図５に示す文書選択画面４００には、２つの縮小画像４０１，４０２が表示されている。縮小画像４０１は縮小画像４０２の後に得られた撮像画像中に示される文書に対応するものである。また、左右ボタン４０３が操作されると、縮小画像４０２より古くに得られた撮像画像に対応する縮小画像がスクロール表示される。縮小画像４０１又は縮小画像４０２が選択された場合には、選択された縮小画像に対応する文書情報に対する入力を行うための文書入力画面が表示される。

図６は、入力装置１００による表示制御処理を示すフローチャートである。表示制御処理は、入力処理の一例である。表示制御処理は、入力装置１００の状態を特定し、状態に応じて表示部１０６の表示を制御する処理である。入力装置１００は、一定時間が経過する度に表示制御処理を実行する。これにより、入力装置１００は、定期的に状態判定を行い、判定結果に応じて表示部１０６の表示を切り替えることができる。なお、表示制御処理実行時には、撮像部１０７による撮像が行われているものとする。Ｓ５０１において、制御部１０１は、状態判定部２０３により状態を判定する（状態判定処理）。状態判定処理については図７を参照しつつ後述する。次に、Ｓ５０２において、制御部１０１は、状態判定部２０３により判定された状態が中空状態の場合には、処理をＳ５０３へ進める。制御部１０１は、状態判定部２０３により判定された状態が接地状態の場合には、処理をＳ５０５へ進め、判定された状態が文書重なり状態の場合には、処理をＳ５０６へ進める。

Ｓ５０３においては、制御部１０１は、文書認識部２０２により得られた撮像画像に対する文書認識を行う。文書認識部２０２は、文書認識により撮像画像に対応する文書情報が特定された場合には、特定された文書の文書識別子と認識時刻とを認識結果テーブルに記憶する。なお、時刻は表示制御処理のループカウンタ等であってもよい。
認識結果テーブルは、文書識別子と認識時刻の組を記録するテーブルである。認識結果テーブルは、例えばＲＡＭ１０３等に格納される。認識結果テーブルは、所定の数の認識結果を記録することができる。制御部１０１は、認識結果テーブルの記録数が所定の数を超える場合には、認識時刻の古い認識結果を削除して、新しい認識結果を追記する。一方で、文書認識により撮像画像に対応する文書情報が特定されない場合には、制御部１０１は、認識結果の記録は行わない。なお、認識結果テーブルは、後述のＳ５０５，Ｓ５０６及びＳ６０７（図７）において参照される。

Ｓ５０４においては、制御部１０１は、Ｓ５００において得られた撮像画像に基づいて、透過画像生成部２０４により透過画像を生成する。そして、制御部１０１は、生成された透過画像を示す透過画面を、表示制御部２０６を介して表示部１０６に表示する。Ｓ５０５においては、制御部１０１は、Ｓ５０２における判定処理が実行された判定タイミグよりも前のタイミングにおいて得られた撮像画像に示される文書を示す文書選択画面を、表示制御部２０６を介して表示部１０６に表示する。
Ｓ５０５において、具体的には、制御部１０１はまず、認識結果テーブルから、認識時刻の新しい順に一つずつ文書識別子を選択する。ただし、このとき、制御部１０１は、以前に選択している文書識別子の場合はスキップする。これによって、重複する文書識別子がスキップされる。次に、制御部１０１は、文書記憶部２０１から文書識別子により特定される文書情報を取得する。そして、制御部１０１は、取得した文書情報に基づいて、文書情報の縮小画像を生成する。制御部１０１は、以上の処理を、所定数の縮小画像を得るまで繰り返す。
また、他の例としては、制御部１０１は、認識テーブルに記録されているすべての認識結果に対して上記の処理を完了するまで、以上の処理を繰り返してもよい。

そして、制御部１０１は、上記処理が完了すると、得られた縮小画像を一覧する文書選択画面を生成する。そして、制御部１０１は、生成した文書選択画面を、表示制御部２０６を介して表示部１０６に表示する。
なお、Ｓ５０５の処理時に、既に表示部１０６に文書選択画面又は文書入力画面が表示されているときは、制御部１０１は、現在の画面表示を継続する。

Ｓ５０６において、制御部１０１は、文書入力画面を、表示制御部２０６を介して表示部１０６に表示する。文書入力画面には、Ｓ５０２の判定タイミングより前のタイミングにおいて得られた撮像画像に対応する文書情報への入力画面である。
Ｓ５０６において、制御部１０１は、具体的には、まず認識結果テーブルから最新の認識時刻の文書識別子を得る。次に、制御部１０１は、入力用情報生成部２０５により最新の文書識別子により識別される文書情報への入力用情報を生成する。そして、制御部１０１は、生成された入力用情報を示す文書入力画面を、表示制御部２０６を介して表示部１０６に表示する。
なお、認識結果テーブルに記録される最新の文書識別子は、最新の撮像画像と文書情報の類似度により特定された、撮像画像に示される文書情報に対する識別子である。そして、Ｓ５０６の処理は、文書情報特定処理の一例である。
さらに、Ｓ５０６において文書入力画面が表示された状態において、ユーザからの入力があった場合には、制御部１０１は、ユーザによる描画入力を受け付け（受付処理）、描画入力に対応するＡＲ情報を格納する（入力情報管理処理）。

なお、他の例としては、制御部１０１は、最新の認識結果だけでなく、最新から遡った複数の認識結果に基づいて、表示する文書を決定してもよい。例えば、制御部１０１は、認識結果テーブルから認識時刻の新しい順に所定の数の文書識別子を選び出し、最も多い文書識別子を表示する文書と判断してもよい。これによって、入力装置１００が文書に近付き過ぎたために生じる、文書認識の誤りの影響を減少させることができる。
Ｓ５０６の処理時に、既に文書入力画面が表示されているときは、制御部１０１は、現在の画面表示を継続する。ここで、Ｓ５０４〜Ｓ５０６の処理は、表示処理の一例である。

図７は、状態判定処理（Ｓ５０１）における詳細な処理を示すフローチャートである。
Ｓ６０１において、制御部１０１は、撮像部１０７が暗転しているか否かを判定する。具体的には、制御部１０１は、照度特定部２００により、撮像部１０７において検出される照度を特定する（照度特定処理）。そして、制御部１０１は、照度が照度閾値以下である場合に、暗転と判定し、照度が閾値よりも大きい場合に、暗転でないと判定する。
他の例としては、制御部１０１は、複数のサンプリングにより得られた複数の照度を特定し、照度閾値以下の照度の数がサンプリング数の過半数以上となる場合に暗転と判定してもよい。このように、複数回のサンプリングを行うことで、暗転しているか否かを、安定的に判断できる。例えば、ユーザが入力装置１００を少し持ち上げてずらした場合において、一時的に暗転状態が解除されてしまうことなどを防ぐことができる。
また、他の例としては、制御部１０１は、Ｓ５００において得られた撮像画像の輝度を特定し、輝度の最大値又は平均に基づいて、暗転か否かをと判定してもよい。また他の例としては、制御部１０１は、輝度についても照度と同様に、複数回のサンプリング結果に基づいて暗転か否かを判定してもよい。

Ｓ６０１において、暗転と判定した場合には、制御部１０１は、処理をＳ６０２へ進める。Ｓ６０１において、暗転と判定しない場合には、制御部１０１は、処理をＳ６０４へ進める。Ｓ６０２において、制御部１０１は、暗転フラグをＯＦＦにする。暗転フラグは暗転状態である場合にＯＦＦを示し、暗転状態にない場合にＯＮを示すフラグである。暗転フラグは、暗転の開始時刻を記録するために用いられる情報である。暗転フラグを用いた処理については、Ｓ６０４〜Ｓ６０６において後述する。次に、Ｓ６０３において、制御部１０１は、状態判定部２０３により、入力装置１００の状態を中空状態と判定する。
Ｓ６０４〜Ｓ６０６の処理は、暗転の開始時刻である暗転時刻を記録するための処理である。Ｓ６０４において、制御部１０１は、暗転フラグがＯＦＦであるか否かを判定する。暗転フラグがＯＮである場合には、既に暗転状態にある。したがって、暗転時刻の更新は不要である。この場合には、制御部１０１は、処理をＳ６０７へ進める。一方で、暗転フラグがＯＦＦである場合には、非暗転状態から暗転状態へと移行した状態である。この場合には、制御部１０１は、処理をＳ６０５へ進める。

Ｓ６０５において、制御部１０１は、暗転時刻を記憶する。次に、Ｓ６０６において、制御部１０１は、暗転フラグをＯＮにする。次に、Ｓ６０７において、制御部１０１は、暗転前に文書認識部２０２により撮像画像に対応する文書情報が認識されたか否かを判定する。すなわち、制御部１０１は、暗転前に得られた撮像画像に文書が示されるか否かを判定する（撮像画像判定処理）。具体的には、制御部１０１は、認識結果テーブルを参照し、最新の認識時刻と暗転時刻との差分が閾値以下である場合に、暗転前に撮像画像に対応する文書情報が認識されたと判定する。なお、時刻は表示制御処理のループカウンタ等であってもよく、厳密な計時時刻である必要はない。
Ｓ６０７において、暗転前に得られた撮像画像に対応する文書情報が認識されたと判定した場合には、制御部１０１は、処理をＳ６０９へ進める。Ｓ６０７において、暗転前に得られた撮像画像に対応する文書情報が認識されないと判定した場合には、制御部１０１は、処理をＳ６０８へ進める。Ｓ６０８において、制御部１０１は、状態判定部２０３により、入力装置１００の状態を接地状態と判定する。Ｓ６０９において、制御部１０１は、状態判定部２０３により、入力装置１００の状態を文書重なり状態と判定する。以上で状態判定処理が終了する。

次に、透過表示画面の表示中にユーザによる書き込みが行われた場合における入力装置１００の処理について説明する。ユーザが入力装置１００を手で持つ等することにより、入力装置１００が中空に支持されているとする。この場合には、入力装置１００の状態判定部２０３は、中空状態と判定する。また、図３（ａ）に示すように、表示部１０６には、透過画面３１２が表示される。なお、この状態においては、透過画面３１２に示される撮像画像に関連するＡＲ情報は存在しないものとする。このため、表示部１０６の透過画面３１２は、ＡＲ情報のない撮像画像３０３を透過画像として表示している。
そして、ユーザは、文書３０１に対応する文書情報に対する書き込みを行いたい場合には、入力装置１００を文書３０１の上に重ねて置く。これにより、入力装置１００は、机３００及び文書３０１に接した状態となる。このため、撮像部１０７により得られる撮像画像は暗転する。また、暗転前に撮像画像に対応する文書情報が認識されている。これらのことから、状態判定部２０３は、文書重なり状態と判定する。そして、図４（ａ）に示すように、表示部１０６には、文書入力画面３２０が表示される。

文書入力画面３２０において、ユーザがハートマークを手書き入力すると、図４（ｂ）に示すように、ハートマークの手書き入力に対応するＡＲ情報３２１が、文書入力画面３２０上に重畳表示される。なお、このとき、ＡＲ情報３２１は、文書情報に関連付けて文書記憶部２０１に格納される。
ハートマークを書き込んだ後、ユーザが再び入力装置１００を持ち上げる。このとき、撮像部１０７により得られた撮像画像（映像）は暗転していない。このため、状態判定部２０３は、中空状態と判定する。そして、この場合には、状態判定処理において文書認識が行われ、図３（ｂ）に示すように、表示部１０６には、透過画面３０６が表示される。このとき、先の処理において撮像画像に対応するＡＲ情報３２１が格納されているので、透過画面３０６においては、撮像画像３０３上にハートマークのＡＲ情報３０５が重ねて表示されている。
以上のように、本実施形態にかかる入力装置１００は、文書上に重ねて配置された場合に、文書への入力を可能とする文書入力画面を表示することができる。このため、文書に対するユーザによる手書き入力を安定して行うことができる。

（変更例）
なお、本実施の形態においては、書き込みの対象となる文書情報は、予め文書記憶部２０１に格納されているものとしていた。これに対し、他の例としては、制御部１０１は、撮像部１０７により得られた撮像情報から文書情報を切り出し、切り出した文書情報を文書記憶部２０１に追加することとしてもよい。
制御部１０１は、例えばユーザからの指示に従い、文書を撮像し、得られた撮像画像から切り出すべき文書情報を特定してもよい。ユーザは、文書情報とすべき領域の４辺を指定する。これに対し、制御部１０１は、指定された４辺に基づいて、撮像画像から部分画像を切り出す。制御部１０１はさらに、切り出した部分画像を四角形に整形すべく、部分画像に対し台形補正等を施してもよい。

また他の例としては、制御部１０１は、ユーザにより指定された撮像画像から自動的に文書情報の切り出しを行ってもよい。具体的には、制御部１０１は、文書の４辺をなすエッジを検出し、エッジに基づいて部分画像を抽出する。そして、制御部１０１は、部分画像に対して台形補正を施してもよい。
また、他の例としては、制御部１０１は、自動的に撮像画像から文書を検出し、文書情報の切り出しを行ってもよい。
これにより、文書記憶部２０１に予め文書情報を登録する処理を不要とすることができる。また、ユーザは、文書記憶部２０１に予め登録された文書情報以外の文書情報に対する書き込みを行うことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。他の例としては、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードは、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

以上、上述した各実施形態によれば、文書に対するユーザによる手書き入力を安定して行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

２００ 照度特定部、２０１ 文書記憶装部、２０２ 文書認識部、２０３ 状態判定部、２０４ 入力用情報生成部、２０５ 透過画像生成部、２０６ 表示制御部、２０７ 入力情報取得部

Claims (12)

1. 携帯型の入力装置であって、
   撮像手段により撮像された撮像画像に文書が示されるか否かに基づいて、前記撮像手段の状態を判定する状態判定手段と、
   前記状態判定手段により、前記撮像手段に前記文書が重ねられた第１の重なり状態と判定された場合に、前記文書を示す文書情報を表示する表示手段と、
   前記表示手段に表示された前記文書情報へのユーザによる描画入力を受け付ける受付手段と
   を有することを特徴とする入力装置。
2. 前記撮像手段における照度を特定する照度特定手段をさらに有し、
   前記状態判定手段は、さらに前記照度に基づいて、前記撮像手段の前記状態を判定することを特徴とする請求項１に記載の入力装置。
3. 前記状態判定手段は、状態の判定タイミングにおいて検出された前記照度が照度閾値以下であって、かつ前記判定タイミングより前のタイミングにおいて撮像された前記撮像画像に前記文書が示されると判定された場合に、前記第１の重なり状態であると判定することを特徴とする請求項２に記載の入力装置。
4. 前記状態判定手段は、前記照度が照度閾値よりも大きい場合に、前記撮像手段への重なりのない非重なり状態であると判定し、
   前記表示手段は、前記非重なり状態と判定された場合に、前記撮像手段により撮像された前記撮像画像を表示することを特徴とする請求項２又は３に記載の入力装置。
5. 前記状態判定手段は、状態の判定タイミングにおいて検出された前記照度が照度閾値以下であって、かつ前記判定タイミングより前のタイミングにおいて撮像された前記撮像画像に前記文書が示されないと判定された場合に、前記撮像手段の状態が前記文書以外のオブジェクトに重なる第２の重なり状態であると判定し、
   前記表示手段は、前記第２の重なり状態と判定された場合に、前記判定タイミングより前のタイミングにおいて撮像された１又は２以上の前記撮像画像に含まれる文書に対する１又は２以上の前記文書情報を表示することを特徴とする請求項２乃至４のいずれか１項に記載の入力装置。
6. 前記文書情報を格納する記憶手段と、
   前記記憶手段に格納されている前記文書情報と前記撮像画像との類似度に基づいて、前記撮像画像が前記文書を示す画像であるか否かを判定する撮像画像判定手段と
   をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の入力装置。
7. 前記状態判定手段は、前記撮像画像の輝度に基づいて、前記撮像手段の前記状態を判定することを特徴とする請求項１に記載の入力装置。
8. 異なる複数の文書それぞれに対応する複数の文書情報を格納する記憶手段と、
   前記撮像画像と前記文書情報との類似度に基づいて、前記複数の文書情報の中から、前記撮像画像に示される文書の前記文書情報を特定する文書情報特定手段と
   をさらに有し、
   前記表示手段は、前記文書情報特定手段により特定された前記文書情報を表示することを特徴とする請求項１に記載の入力装置。
9. 前記記憶手段は、前記文書情報を識別する文書識別子を、前記文書情報に対応付けてさらに記憶し、
   前記受付手段が前記文書情報への描画入力を受け付けた場合に、描画入力に対応する描画情報を、前記文書識別子に対応付けて前記記憶手段に格納する入力情報管理手段をさらに有することを特徴とする請求項８に記載の入力装置。
10. 前記表示手段は、特定された前記文書情報の前記文書識別子に対応付けられている前記描画情報が前記記憶手段に格納されている場合に、前記文書情報に前記入力情報を重畳して表示することを特徴とする請求項９に記載の入力装置。
11. 携帯型の入力装置が実行する入力処理方法であって、
    撮像手段により撮像された撮像画像に文書が示されるか否かに基づいて、前記撮像手段の状態を判定する状態判定ステップと、
    前記状態判定ステップにおいて、前記撮像手段に前記文書が重ねられた第１の重なり状態と判定された場合に、前記文書を示す文書情報を表示する表示ステップと、
    前記表示ステップにおいて表示された前記文書情報へのユーザによる描画入力を受け付ける受付ステップと
    を含むことを特徴とする入力処理方法。
12. コンピュータを、
    撮像手段により撮像された撮像画像に文書が示されるか否かに基づいて、前記撮像手段の状態を判定する状態判定手段と、
    前記状態判定手段により、前記撮像手段に前記文書が重ねられた第１の重なり状態と判定された場合に、前記文書を示す文書情報を表示する表示手段と、
    前記表示手段に表示された前記文書情報へのユーザによる描画入力を受け付ける受付手段と
    して機能させるためのプログラム。

Images