JP2016076240A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】記録媒体を撮像した画像データとスケジュールのイベントとを容易に関連付けできるようにする。【解決手段】情報処理装置１００は、記録媒体を撮像して画像データを取得する撮像手段８と、イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行うスケジューラ１、４、４１と、画像データをスケジューラ１、４、４１内のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段１と、画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段４に記憶させる記憶制御手段１とを備える。【選択図】図２

Description

本発明は、情報処理装置及びプログラムに関する。

近年、情報機器の進歩にともなって、電子文書を作成し保存したりスケジュール管理をしたりということが進展している。電子文書は紙媒体による手書文書に比べて、管理、整理の容易性、検索性、保存性が良いという特徴を有している。
しかしながら、手書文書は、電子文書に比べて、利便性、スピード等において優位性を有しているため、今後も無くなることはないと考えられる。そこで、手書文書をいかに整理し活用するかが課題となっている。
これに対し、会議中に会議の出席者によりメモが書き込まれた紙媒体のメモ情報と会議中に表示された会議資料画像とを関連付けて所定の記憶手段に登録する装置が開示されている（特許文献１）。この装置によれば、会議中に表示された会議資料画像の特定の表示画像とその特定画像が表示されている間に紙媒体に書き込まれたメモ情報の差分撮像画像とを関連付けを行うことができる。

特開２０１０−１７６６０３号公報

しかしながら、上記のような装置において、スケジュール管理を行うスケジューラに登録されている会議などのイベント情報と、そのイベントで手書きされた手書文書とを関連付けるためには、手作業で関連づけることは可能であるものの、煩雑であるという課題を有していた。

本発明の課題は、記録媒体を撮像した画像データとスケジュールのイベント情報とを容易に関連付けできるようにすることである。

本発明の情報処理装置は、
記録媒体を撮像して画像データを取得する撮像手段と、
イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段と、
前記画像データを前記管理手段のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段と、
前記画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段に記憶させる記憶制御手段と、
前記記録媒体が配置される第１の筐体と、
ヒンジ部により前記第１の筐体と開閉可能に連結される第２の筐体と、
前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記画像データを取得することを特徴とする。

本発明によれば、記録媒体を撮像した画像データとスケジュールのイベント情報とを容易に関連付けすることができる。

本実施形態に係る情報処理装置の外観斜視図である。 本実施形態に係る情報処理装置の内部構成を示すブロック図である。 情報処理装置におけるカバーの開閉状態を示す図である。（Ａ）は、情報処理装置の第１のカバーと第２のカバーとが開いた状態を示す図を、（Ｂ）は、第１のカバーの上に第２のカバーが重なり合う状態を示す図である。 スケジューラの表示画面を示す図である。（Ａ）はカレンダ表示の図、（Ｂ）は個々のスケジュールを表示する図である。 スケジューラにおいて記憶部に記憶されているデータ構造を示す図である。 画像管理プログラムにより管理されているメモ画像のデータ構造を示す図である。 情報処理装置により実行されるリンク処理のフローを示す図である。 手書きメモの１例を示す図である。 画像管理プログラムによる手書きメモ表示画面を示す図であり、（Ａ）は一覧表示を示す図、（Ｂ）は手書きメモ１ページ表示を示す図である。 変形例に係る情報処理装置がバインダに立て掛けられた状態を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本実施形態に係る情報処理装置１００の外観斜視図である。また、図２は、本実施形態に係る情報処理装置１００の内部構成を示すブロック図である。

情報処理装置１００は、例えばＡ５サイズの大きさのタブレット型端末装置であり、本体部１２と、筐体としてのバインダ１３と、から構成されている。
本体部１２には、画面表示及びタッチ入力のためのタッチ表示部５、撮像手段としての撮像部８等が設けられている。撮像部８は、タッチ表示部５の外側の部分のうち、ヒンジ部１３ｃによる回転軸から遠い方の長手側の枠の中央部（図１では表面側の左側中央部）に配設されている。

筐体としてのバインダ１３は、第１の筐体としての第１のカバー１３ａと第２の筐体としての第２のカバー１３ｂとがヒンジ部１３ｃを回転軸として開閉可能に連結されて構成されている。第１のカバー１３ａには記録媒体１５が配置され、第２のカバー１３ｂには本体部１２が設けられている。本体部１２、記録媒体１５は、留め具、フック等により、バインダ１３に着脱可能に装着されている。

なお、本実施形態において、記録媒体１５とは、撮像すべき情報が記録されている媒体を示すものであり、情報が記録されている被写体を意味している。記録媒体１５は、ユーザがメモを取る際に使用するノートやレポート用紙、又は、資料が印刷されている用紙、書籍等である。ただし、記録媒体１５は、撮像すべき情報が記録されている媒体であればよく、素材は紙に限定されない。記録媒体１５は、１枚のシート状の用紙であってもよいし、冊子状に綴じられていてもよい。また、記録媒体１５には、情報を電子的に表示可能な電子ペーパーも含まれる。

第１のカバー１３ａ及び第２のカバー１３ｂは、平板長方形状に構成され、ヒンジ部１３ｃにより、本や手帳を開閉するように、開閉可能となっている。図１は、第１のカバー１３ａと第２のカバー１３ｂとのなす角度が１８０°である状態（開いた状態）を図示している。ユーザは、この状態でタッチ表示部５に表示される画面の参照及びタッチ入力を行い、記録媒体１５に文字や図表等を記入する。

ヒンジ部１３ｃには、第１のカバー１３ａと第２のカバー１３ｂとのなす角度を検出する開閉角度センサ１４が設けられている。開閉角度センサ１４は、ヒンジ部１３ｃの軸の回転を検出するロータリーエンコーダや、ホール素子等を用いて開閉状態を検出する磁気センサによって構成されている。ここで開閉角度センサ１４は、検出手段として機能している。

図２に示すように、情報処理装置１００は、機器の全体的な制御を行うＣＰＵ（Central Processing Unit）１と、操作キーを有する操作部６と、ＣＰＵ１に作業用のメモリ空間を提供するＲＡＭ（Random Access Memory）３と、表示パネル５ａにタッチパネル５ｂを積層配設した構造のタッチ表示部５と、ＣＰＵ１が実行する制御プログラムや制御データ等を格納した記憶部４と、無線通信部７と、被写体の光学像を撮像する撮像部８と、現在日時を計時する計時部９、第１のカバー１３ａと第２のカバー１３ｂとのなす角度を検出する開閉角度センサ１４等を備えている。ＣＰＵ１、操作部６、ＲＡＭ３、タッチ表示部５、記憶部４、無線通信部７、撮像部８、計時手段としての計時部９、開閉角度センサ１４は、バス１０を介して接続されている。

ＣＰＵ１は、操作部６やタッチパネル５ｂから入力される操作信号又は無線通信部７により受信される指示信号に応じて情報処理装置１００の各部の処理動作を統括的に制御する。具体的には、ＣＰＵ１は、記憶部４に記憶されている各種処理プログラムを読み出してＲＡＭ３に展開し、当該プログラムとの協働により各種処理を行う。

電源部（二次電池）２は各部に電源を供給する。

記憶部４は、例えば、書換式のＲＯＭ（Read Only Memory）、フラッシュメモリなどを有する構成で、各種データ及び各種プログラムを読み出し及び書き込み可能に記憶する。記憶部４には、スケジューラプログラム４１、ＯＣＲ（Optical Character Recognition）（光学文字認識）プログラム４２、画像管理プログラム４３、タグ付けプログラム４４が記憶されている。なお、記憶部４は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

タッチ表示部５は、表示パネル５ａにタッチパネル５ｂを積層配設した構造で、表示手段としての表示パネル５ａは、縦横比（例えば、横４：縦３）の異なる画面を有した高精細液晶ディスプレイであり、タッチパネル５ｂは、撮像者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。ここで、タッチパネル５ｂは操作手段として機能している。

操作部６は、図示省略したが、電源をオン／オフさせる電源キーなどの押しボタン式のキーを備え、ＣＰＵ１は、この操作部６から操作キーに対応して出力される入力操作信号に応じた処理を行う。ここで、操作部６は、操作手段として機能している。

無線通信部７は、高速大容量の通信が可能な無線通信モジュールであり、例えば、最寄りの無線ＬＡＮ（Local Area Network）ルータ（図示省略）を介してインターネットに接続可能となっている。

撮像部８は、被写体の光学像を撮像するもので、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮像可能なデジタルカメラ部で、例えば、ズームレンズおよび付属するズーム駆動部、合焦駆動部と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサと、タイミング発生器と、ドライバ等を備え、撮像された光学像を二次元の画像信号に変換する。画像読取機能の動作時に、例えば、フレームレートが秒１５コマ（１５ｆｐｓ）の連続撮像（高速像）が可能となっている。ここで、ＣＰＵ１、撮像部８は撮像手段として機能している。

計時部９は、図示しない発振回路部から入力される信号を計数して、内部時刻等を得る。そして当該内部時刻をＣＰＵ１に出力する。ここで、内部時刻とは、計時部９で計時される現在日時のことをいう。

スケジューラプログラム４１は、時間や日程を管理するためのプログラムである。スケジュール、そのスケジュールの開始・終了時刻、出席者等を入力、編集、表示をすることができるプログラムである。
ここで、スケジュールとしてのイベントおよびイベントに関連する日時、又は／および出席等を含む情報をイベント情報という。
ここで、ＣＰＵ１、スケジューラプログラム４１、および記憶部４は、スケジューラ（管理手段）として機能している。

図４は、スケジューラ１、４、４１によるスケジューラ表示画面を示す図である。図４（Ａ）はカレンダ表示画面４１１を示す図、図４（Ｂ）は個々のイベント（スケジュール）表示画面４１２を示す図である。図４（Ａ）の画面には撮像アイコン５１、登録アイコン５２が表示されている。ユーザは、図４に示すイベント（スケジュール）表示画面から個々のイベントを記憶部４に登録することができる。

図５は、管理手段としてのスケジューラ１、４、４１において記憶部４に記憶されているデータ構造を示す図である。個々のイベント毎に、ＩＤ、イベント名、日時（開始日時、終了日時）、出席者等が登録されている。

ＯＣＲプログラム４２は、画像処理により入力画像を２値化された画像データに認識処理し、予め記憶されたパターンとの照合により文字、符号を特定し、文字・符号データを出力するプログラムである。
ここで、ＣＰＵ１およびＯＣＲプログラム４２は、画像データから日時を認識する認識手段として機能している。

画像管理プログラム４３は、撮像部６で撮像されたメモ画像の画像データを表示・管理等するためのプログラムである。
図６は、画像管理プログラム４３により管理されているメモ画像のデータ構造を示す図である。個々のメモ画像毎に、ＩＤ、画像名、関連付日時等が記憶部４に登録されている。

タグ付けプログラム４４は、撮像部６で撮像されたメモ画像の画像データにタグ付けするためのプログラムである。

次に、本実施形態に係る情報処理装置１００の動作について説明する。図３は、情報処理装置１００におけるバインダ１３の開閉状態を示す図である。図３（Ａ）は、情報処理装置１００の第１のカバー１３ａと第２のカバー１３ｂとが開いた状態を示す図を、図３（Ｂ）は、第１のカバー１３ａの上に第２のカバー１３ｂが重なり合う状態を示す図である。

ユーザは、例えば、バインダ１３を１８０度開いた状態において情報処理装置１００を使用したり、記録媒体１５に図表などを書き入れたりすることができる。また、情報処理１００及び記録媒体１５を使用しないときには、第１のカバー１３ａと第２のカバー１３ｂとを閉じてバインダ１３を完全に閉じる（開閉角度は０度。）ことができる。

図７は、情報処理装置２０により実行される手書きメモとイベントとのリンク処理のフローを示す図である。以下、情報処理装置２０による手書きメモとイベントとのリンク処理について図７を参照して説明する。これらの処理は、ＣＰＵ１と記憶部４に記憶されている各種プログラムとの協働により実行される。

この手書きメモとイベントとのリンク処理が開始される前提として、例えば、情報処理装置１００が起動されている状態で記録媒体１５に手書きメモを記録し、記録した後で情報処理装置１００のバインダ１３を閉じる動作が行われるものとする。手書きメモとイベントとのリンク処理では、撮像に最適な角度として、開閉角度略７０度が設定されている。具体的には、ＣＰＵ１は、開閉角度センサ１４によって第１のカバー１３ａと第２のカバー１３ｂとの角度（撮像に最適な角度）として略７０度が検出された際に、撮像部８により生成されたメモ画像を取得することになる。また、撮像に最適な角度（略７０度）に合わせてフォーカス、露出などの撮像条件が設定されている。

ステップＳ１では、ＣＰＵ１は、スケジューラ１、４、４１からのカメラ起動があったか否かを判断する。具体的には、スケジューラ１、４、４１が起動されている状態において、図４（Ａ）に示すスケジューラ画面４１１に表示されている撮像アイコン５１が選択されて、撮像部８が撮像モードになったか否かを判断する。スケジューラ画面４１１に表示されている撮像アイコン５１が選択されて、撮像部８が撮像モードになっていれば「ＹＥＳ」へ分岐してステップＳ２に移行する。そうでなければ「ＮＯ」へ分岐してステップＳ３に移行する。

ステップＳ２では、ユーザがイベントの一覧（カレンダ表示画面４１１）より手動で該当するイベントを選択すると、ＣＰＵ１は選択された当該イベントのＩＤをＲＡＭ３に格納する。ここで、ＩＤとは、スケジューラ１、４、４１に登録されているイベントを識別するためのＩＤである。

ステップＳ３では、ＣＰＵ１は、ユーザによるバインダ１３を閉じる動作を検知して、撮像部８を制御して記録媒体１５に記録されている手書きメモを撮像させ、撮像部８により生成されたメモ画像をＲＡＭ３に格納する。

ステップＳ４では、ＣＰＵ１は、スケジュールのＩＤがＲＡＭ３上に格納されているかを判断する。スケジュールのＩＤがＲＡＭ３上に格納されている場合とは、ステップＳ２においてユーザから指定されたスケジュールのＩＤがＲＡＭ３上に格納されている場合であり、その場合には「ＹＥＳ」へ分岐してステップＳ１１に移行する。スケジュールのＩＤがＲＡＭ３上に格納されていなければ「ＮＯ」へ分岐してステップＳ５に移行する。

ステップＳ５では、ＣＰＵ１は、撮像されたメモ画像１５１に日時が記録されているか判断する。

図８は、撮像される手書きメモ１５１を示す図である。具体的には、ＣＰＵ１は、図８に示す撮像されるメモ画像１５１の画像データに対し、ＯＣＲプログラム４２を実行し、所定のマークを検出する。所定のマークとしては、例えば、図８に示す四角囲みのアットマーク（＠）、四角囲みの＃のマーク等が規定されている。このようなマークは、他のマークと混同しにくいものがよい。そして、所定のマークの脇またはその近傍に日時が記録されていることが認識されればＣＰＵ１はＯＣＲプログラム４２によりその日時を認識させる。図８の例では、四角囲みのアットマーク（＠）の右側に記録されている「2012.4.20」という日時が認識される。このようにして、ＣＰＵ１は、メモ画像に日時が記録されているか判断し、メモ画像に日時が記録されていると判断されれば「ＹＥＳ」へ分岐してステップＳ７に移行する。メモ画像に日時が記録されていないと判断されれば「ＮＯ」へ分岐してステップＳ６に移行する。

図７に戻り、ステップＳ６では、ＣＰＵ１は、現在日時を計時部９から取得する。現在日時とは、ＣＰＵ１がステップＳ６を実行している際の日時であり、実質的に手書きメモが撮像され、メモ画像が取得された際の日時である。
ここで、メモ画像に記録されている日時または、手書きメモが撮像されメモ画像が取得された際の日時（現在日時）を関連付日時という。また、ＣＰＵ１は、関連付日時取得手段として機能する。

ステップＳ７では、ＣＰＵ１は、メモ画像に記録されている日時を読み取って取得する。具体的には、ＣＰＵ１は、図８に示すように、四角囲みのアットマーク（＠）の右側に記録されている「2012.4.20」という日時を読み取って取得する。

ステップＳ８では、ＣＰＵ１は、取得された現在日時または、メモ画像に記録されている日時に関連するイベントがあるか判断する。

具体的には、ＣＰＵ１は、図５に示すようなスケジューラ１、４、４１におけるデータ構造を参照して当該日時に関連するスケジュールを検索する。
関連するイベントとは、取得された現在日時またはメモ画像に記録されている日時が登録されているイベントの登録時間（イベントの開始日時と終了日時で指定される）に含まれている場合におけるそのイベントをいう。ただし、たとえば会議の時間がスケジュールの予定時間よりも延びてしまった、または早く開始された等の事情発生を考慮して、現在日時またはメモ画像に記録されている日時はスケジュールの登録時間に対して多少の遅れ・進みを許容している。例えば、現在日時またはメモ画像に記録されている日時より少し遡った登録時間で登録されているスケジュールがある場合には、そのスケジュールを関連するスケジュールと判断する。

そして、取得された現在日時またはメモ画像に記録されている日時に関連するスケジュールがあると判断されれば「ＹＥＳ」へ分岐してステップＳ９に移行する。関連するスケジュールがないと判断されれば「ＮＯ」へ分岐してステップＳ１０に移行する。

ステップＳ９では、ＣＰＵ１は、ステップＳ８にて検索された関連スケジュールのＩＤをＲＡＭ３に格納する。

ステップＳ１０では、ＣＰＵ１は、イベントの一覧（カレンダ表示画面４１１）を表示パネル５ａに表示する。ユーザがイベントを指定すると、ＣＰＵ１は、そのイベントを選択してそのＩＤをＲＡＭ３に格納する。

ステップＳ１１では、ＣＰＵ１は、ステップＳ８にて検索され、またはステップＳ１０にてユーザにて選択されたイベントとメモ画像とをリンクさせる。具体的には、ＣＰＵ１は、図６に示すメモ画像のデータ構造において、ＲＡＭ３に格納されたイベントのＩＤをインデックスとして記憶する。そして終了する。

次に、ＣＰＵ１と画像管理プログラム４３によるメモ画像の表示の動作について説明する。

図９は、画像管理プログラムによるメモ画像の表示画面を示す図であり、図９（Ａ）はメモ画像一覧表示画面４３１を示す図、図９（Ｂ）はメモ画像１ページ表示画面４３２を示す図である。図９（Ａ）では、左に日時（日付）表示、中央にタグが表示され、選択されているタグが付いているメモ画像が右側に表示される。図９（Ａ）では３件のメモ画像が表示されている。図９（Ａ）の一覧表示を示す図における中央部のタグは、タグ付けプログラム４４によって撮像部６で撮像されたメモ画像にタグ付けがされたものである。タグ付けは、日時情報によって一致したスケジュールのタイトル等により自動的にタグ付けされる。また、新規タグ付けアイコン５３により、ユーザによって手動でタグ付けされる。タグおよび日付を指定すると、右側に該当するメモ画像が表示される。
図９（Ａ）に示す３件のメモ画像の内、下段のメモを選択すると、図９（Ｂ）に示すメモ画像１ページ表示に移行する。

次に、手書きメモとスケジュールとのリンク処理により関連付けられたメモ画像と、イベントを相互に読み出す際の動作について説明する。
スケジューラ１、４、４１に登録されているイベントのＩＤとメモ画像のＩＤとが関連付けされていることにより、スケジュールを指定してメモ画像を読み出したり、メモ画像を指定してそのときのスケジュールを読み出したりというように、相互に情報を呼び出すことが可能となる。以下、具体的に説明する。

図４（Ｂ）に示す様に、スケジューラ１、４、４１に登録されている所定のイベント表示４１２がタッチ表示部５の表示パネル５ａに表示されているものとする。イベント表示４１２の画面には、上述のインデックスがスケジューラ１、４、４１に検出されることによりそのイベントに関連するメモ画像が有る旨のメモ画像アイコン４１２ｉが表示されている。
このような状態でユーザのタッチパネル５ｂからの操作指示としてメモ画像アイコン４１２ｉがタッチされると、ＣＰＵ１はその操作指示の入力があったと判断し、ＣＰＵ１は、画像管理プログラム４３を介して記憶部４から表示パネル５ａに表示されているスケジュール情報（イベント情報）に関連付けられたメモ画像（画像データ）を読み出し、その読み出したメモ画像（画像データ）に基づく画像を図９（Ｂ）に示すように、表示パネル５ａに表示させる。
ここで、ＣＰＵ１は、かかる表示を制御する表示制御手段として機能する。

一方、図９（Ｂ）に示すように、記憶部４に記憶されている画像データに基づくメモ画像がタッチ表示部５の表示パネル５ａに表示されているものとする。このような状態でユーザのタッチパネル５ｂによる表示を切り替えるための操作指示としてスケジュール移行ボタン５４がタッチされると、ＣＰＵ１はその操作指示の入力があったと判断し、ＣＰＵ１は、スケジューラプログラム４１を介してタッチ表示部５の表示パネル５ａに表示されているメモ画像の画像データに関連付けられたイベント情報を読み出し、読み出したイベント情報をイベント表示４１２としてタッチ表示部５の表示パネル５ａに表示させる。
ここで、ＣＰＵ１は、かかる表示を制御する表示制御手段として機能する。

このようにして、ユーザは、スケジューラ１、４、４１で過去のスケジュールに遡り、いつこの打合せをしたか、先月の定例会は何だったかと検索し、その際のメモ画像を読み出すということができる。

［変形例］
次に本実施形態の変形例に係る情報処理装置１００Ａについて説明する。なお、下記の説明において、本実施形態に係る情報処理装置１００と同一の構成については同一の符号を付し、詳細な説明は省略する。

図１０は、変形例に係る情報処理装置１００Ａがバインダ１３Ａに立て掛けられた状態を示す図である。情報処理装置１００Ａの前に記録媒体１５が置かれた状態を示す図である。変形例では、記録媒体１５は複数のページからなる冊子伏に構成されており、記録媒体１５のページをめくるタイミングで、撮像部８により記録媒体１５の手書きメモが撮像される。情報処理装置１００Ａの上下端と記録媒体１５の上端とを合わせるように記録媒体１５を置くと、撮像部８の画角及びピントが記録媒体１５に合うように予め設定されている。

情報処理装置１００Ａは、第１の実施の形態に示した情報処理装置１００との比較において、開閉角度センサ２０が不要である点が異なるが、その他の構成については情報処理装置１００と同様であるため、図１を援用し、説明を省略する。以下、変形例に特徴的な構成及び動作について説明する。

変形例に係る情報処理装置１００Ａにおいては、ＣＰＵ１は、記録媒体１５の複数のページを撮像させ、撮像が完了した際を取得した際としてその際の現在日時を計時部９から取得させる。または、記録媒体１５の最初のページに記録されている所定のマークおよび日時情報識をＯＣＲプログラム４２により認識させて取得させる。なお、撮像が完了した際の代わりに最初の撮像が行われた際を取得した際としてもよい。また、所定のマークは複数のページの途中又は最後のページに記録されていてもよい。

まず、ユーザのタッチパネル５ｂからの操作により、撮像モードを開始する旨の指示が行われると、ＣＰＵ１は、撮像部８により動画像データを連続的に取り込み、この動画像データを解析することにより、撮像されている記録媒体１５のページめくり動作を検出する。撮像部８から出力される画像データが変化しつつある間は、記録媒体１５の各ページや、ユーザの指等が移動中であると推測される。ＣＰＵ１は、撮像部８により撮像された動画像データを取り込み続け、画像が静止した場合に、ページめくり動作が行われたと判断する。
ＣＰＵ１は、記録媒体１５のページめくり動作が検出されたタイミングで、撮像部８に撮像を行わせる。ＣＰＵ１１は、撮像部８を制御して、記録媒体１５に記録された手書きメモの撮像を行わせ、撮像部８により生成されたメモ画像（静止画像）をＲＡＭ３に格納する。

次に、ＣＰＵ１は、ユーザのタッチパネル５ｂからの操作により、撮像モードを終了する旨の指示があったか否かを判断する。ＣＰＵ１は、撮像モードを終了する旨の指示がない場合、撮像されている記録媒体１５のページめくり動作の検出処理を継続する。めくり動作が検出されると、ＣＰＵ１は、記録媒体１５に記録された手書きメモの撮像およびメモ画像の画像データのＲＡＭ３への格納を行う。
一方、撮影モードを終了する旨の指示があった場合には記録媒体の撮像処理を終了する。

変形例における、複数枚のメモ画像とスケジュール情報（イベント情報）とを関連付けて記憶手段に記憶する方法は実施形態の場合の手書きメモとスケジュールとのリンク処理と同様である。

以上のように、本実施形態に係る情報処理装置１００によれば、記録媒体１５を撮像して画像データ（メモ画像）を取得する撮像部８と、イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段としてのスケジューラ１、４、４１と、画像データをスケジューラ１、４、４１内のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段としてのＣＰＵ１と、画像データを関連付日時取得手段としてのＣＰＵ１が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶部４に記憶させる記憶制御手段としてのＣＰＵ１と、を備える。これにより、手書きメモを撮像したときそのメモ画像とスケジューラ１、４、４１における関連するイベント（スケジュール）とをリンク付けすることができる。

また、情報処理装置１００は、記録媒体１５が配置される第１の筐体としての第１のカバー１３ａと、ヒンジ部１３ｃにより第１のカバー１３ａと開閉可能に連結され、本体部１２が設けられた第２の筐体としての第２のカバー１３ｂと、第１のカバー１３ａと第２のカバー１３ｂとが所定の状態まで閉じられたことを検出する開閉角度センサ１４と、を備え、撮像部８は、本体部１２の第１のカバー１３ａに対向する位置に設けられており、開閉角度センサ１４により第１のカバー１３ａと第２のカバー１３ｂとが所定の状態まで閉じられたことが検出されたタイミングで画像データを取得する。これにより、ユーザが手書きメモをスケジューラ１、４、４１に登録するための操作を行う必要がなく、バインダ１３の閉じられる操作により、自動的に手書きメモによるメモ画像を関連するスケジュールにリンクさせることができる。

また、情報処理装置１００は、日時を計時する計時部９を備え、関連付日時取得手段としてのＣＰＵ１は、画像データを取得した日時を関連付日時として計時部９から取得する。これにより、手書きメモを撮像した際の現在日時を用いて、その現在日時とスケジューラ１、４、４１におけるスケジュールの登録日時との一致によりその手書きメモと前記スケジュールとをリンクさせることができる。

また、情報処理装置１００は、画像データ（メモ画像）から日時を認識する認識手段１、４２を備え、関連付日時取得手段１は、認識手段１、４２が認識した日時を前記関連付日時として取得する。これにより、手書きメモに記録された日時と、スケジューラ１、４、４１におけるスケジュールの登録日時との一致によりそのメモ画像とそのスケジュールとをリンクさせることができる。

また、情報処理装置１００は、表示パネル５ａと、ユーザによる操作指示を受け付けるタッチパネル５ｂと、スケジューラ１、４、４１に登録されているイベント情報が表示パネル５ａに表示されている状態でタッチパネル５ｂから表示を切り替えるための操作指示が入力された場合に、記憶部４から表示パネル５ａに表示されているイベント情報に関連付けられた画像データを読み出し、当該読み出した画像データに基づく画像を表示パネル５ａに表示させ、記憶部４に記憶されている画像データに基づく画像が表示パネル５ａに表示されている状態でタッチパネル５ｂから表示を切り替えるための操作指示が入力された場合に、スケジューラ１、４、４１から表示パネル５ａに表示されている画像の画像データに関連付けられたイベント情報を読み出し、当該読み出したイベント情報を表示パネル５ａに表示させる表示制御手段としてのＣＰＵ１と、を備えている。
これにより、スケジューラ１、４、４１で表示された所定のイベントから直接対応するメモ画像を検索して表示させることができ、表示されたメモ画像から直接、対応するイベント情報を表示させることができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。例えば、手書きメモに複数のブロックがあり、ブロック毎に、例えば、四角囲みのアットマーク（＠）と日付が記録されていれば、ブロック毎に日時を認識して、別々に日時が一致するスケジュールにリンクさせることもできる。

また、手動で手書きメモを撮像してから手書きで該当するスケジュールを選択して手動で両者をリンクさせることもできる。

本発明の実施形態を説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
＜請求項１＞
記録媒体を撮像して画像データを取得する撮像手段と、
イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段と、
前記画像データを前記管理手段のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段と、
前記画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段に記憶させる記憶制御手段と、
を備えることを特徴とする情報処理装置。
＜請求項２＞
前記記録媒体が配置される第１の筐体と、
ヒンジ部により前記第１の筐体と開閉可能に連結され、本体部が設けられた第２の筐体と、
前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記画像データを取得することを特徴とする請求項１に記載の情報処理装置。
＜請求項３＞
日時を計時する計時手段を備え、
前記関連付日時取得手段は、前記画像データを取得した日時を前記関連付日時として前記計時手段から取得することを特徴とする請求項１または２に記載の情報処理装置。
＜請求項４＞
前記画像データから日時を認識する認識手段を備え、
前記関連付日時取得手段は、前記認識手段が認識した日時を前記関連付日時として取得することを特徴とする請求項１または２に記載の情報処理装置。
＜請求項５＞
表示手段と、
ユーザによる操作指示を受け付ける操作手段と、
前記管理手段に登録されているイベント情報が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されているイベント情報に関連付けられた画像データを読み出し、当該読み出した画像データに基づく画像を前記表示手段に表示させ、前記記憶手段に記憶されている画像データに基づく画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記管理手段から前記表示手段に表示されている画像の画像データに関連付けられたイベント情報を読み出し、当該読み出したイベント情報を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする請求項１〜４のいずれか一項に記載の情報処理装置。
＜請求項６＞
コンピュータを、
記録媒体を撮像して画像データを取得する撮像手段、
イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段、
前記画像データを前記管理手段のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段、
前記画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段に記憶させる記憶制御手段、
として機能させるためのプログラム。

１００、１００Ａ 情報処理装置
１ ＣＰＵ（撮像手段、管理手段、関連付日時取得手段、記憶制御手段、認識手段、表示制御手段）
２ 電源部
３ ＲＡＭ
４ 記憶部（記憶手段、管理手段）
５ タッチ表示部
５ａ 表示パネル（表示手段）
５ｂ タッチパネル（操作手段）
６ 操作部（操作手段）
７ 無線通信部
８ 撮像部（撮像手段）
９ 計時部（計時手段）
１０ バス
１２ 情報処理装置本体
１３ バインダ
１３ａ 第１のカバー
１３ｂ 第２のカバー
１３ｃ ヒンジ部
１４ 開閉角度センサ（検出手段）
１５ 記録媒体
４１ スケジューラプログラム（管理手段）
４２ ＯＣＲプログラム（認識手段）
４３ 画像管理プログラム
４４ タグ付けプログラム
５１ 撮像アイコン
５２ 登録アイコン
５３ 新規タグ付けアイコン
４１１ カレンダ表示
４１２ イベント（スケジュール）表示
４１２ｉ メモ画像アイコン
４３１ メモ画像一覧表示画面
４３２ メモ画像１ページ表示画面

本発明の課題は、撮像された画像情報を所定情報と容易に関連付けできるようにすることである。

請求項１は、撮像手段で撮像された画像情報を管理する情報処理装置であって、予め用意された複数の所定情報の内で何れかの所定情報を任意に選択可能とする選択手段と、当該情報処理装置を特定の状態に変更する際に、前記複数の所定情報の内で何れかの所定情報が予め任意に選択されていたか否かを判別する判別手段と、前記判別手段で何れかの所定情報が予め選択されていた場合には、前記撮像手段で撮像された画像情報を、前記選択手段で選択された所定情報と関連付けて記憶手段に記憶するよう制御する記憶制御手段と、を具備したことを特徴とする。
請求項４は、撮像手段で撮像された画像情報を管理する情報処理装置であって、前記撮像手段で撮像された画像情報内に識別情報が含まれているか否かを判別する判別手段と、前記撮像手段で撮像された画像情報内に識別情報が含まれている場合には、当該識別情報に対応する所定情報を、予め用意された複数の所定情報の中から選択する選択手段と、前記撮像手段で撮像された画像情報を、前記選択手段で選択された前記所定情報と関連付けて記憶手段に記憶するよう制御する記憶制御手段と、を具備したことを特徴とする。
請求項７は、撮像手段で撮像された画像情報を管理する情報処理装置であって、日時情報を指定する指定手段と、前記指定手段で指定された日時情報に対応付けて所定情報が予め記憶されているか否かを判別する判別手段と、前記日時情報に対応付けて所定情報が記憶されている場合には、前記撮像手段で撮像された画像情報を、当該所定情報と関連付けて記憶手段に記憶するよう制御する記憶制御手段と、を具備したことを特徴とする。

本発明によれば、撮像された画像情報を所定情報と容易に関連付けすることができる。

Claims (5)

1. 記録媒体を撮像して画像データを取得する撮像手段と、
   イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段と、
   前記画像データを前記管理手段のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段と、
   前記画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段に記憶させる記憶制御手段と、
   前記記録媒体が配置される第１の筐体と、
   ヒンジ部により前記第１の筐体と開閉可能に連結される第２の筐体と、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
   を備え、
   前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記画像データを取得することを特徴とする情報処理装置。
2. 日時を計時する計時手段を備え、
   前記関連付日時取得手段は、前記画像データを取得した日時を前記関連付日時として前記計時手段から取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像データから日時を認識する認識手段を備え、
   前記関連付日時取得手段は、前記認識手段が認識した日時を前記関連付日時として取得することを特徴とする請求項１に記載の情報処理装置。
4. 表示手段と、
   ユーザによる操作指示を受け付ける操作手段と、
   前記管理手段に登録されているイベント情報が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されているイベント情報に関連付けられた画像データを読み出し、当該読み出した画像データに基づく画像を前記表示手段に表示させ、前記記憶手段に記憶されている画像データに基づく画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記管理手段から前記表示手段に表示されている画像の画像データに関連付けられたイベント情報を読み出し、当該読み
   出したイベント情報を前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。
5. 記録媒体が配置される第１の筐体と、ヒンジ部により前記第１の筐体と開閉可能に連結される第２の筐体と、前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、を備える情報処理装置のコンピュータを、
   前記記録媒体を撮像して画像データを取得する撮像手段、
   イベントに関連する日時を含むイベント情報を登録してスケジュール管理を行う管理手段、
   前記画像データを前記管理手段のイベント情報に関連付けするための関連付日時を取得する関連付日時取得手段、
   前記画像データを前記関連付日時取得手段が取得した関連付日時に対応する日時を含むイベント情報と関連付けて記憶手段に記憶させる記憶制御手段、
   として機能させるためのプログラムであって、
   前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記画像データを取得するプログラム。

Images