JP2015208047A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】記録媒体に記録された内容と表示手段に表示された内容との対応関係を容易に参照可能とする。
【解決手段】第１の筐体と第２の筐体とが所定の状態まで閉じられたタイミングで（ステップＳ１；ＹＥＳ）、撮像部を制御して、記録媒体に記録された手書きメモの撮影を行わせ、撮像部により生成されたメモ画像を取得する（ステップＳ２）。また、第１の筐体と第２の筐体とが所定の状態まで閉じられた際に、表示パネルに表示されている資料画像をキャプチャーし、資料画像を保存する（ステップＳ３）。次に、ステップＳ２において取得されたメモ画像と、ステップＳ３において保存された資料画像と、を関連付けて記憶部に記憶させる（ステップＳ４）。
【選択図】図４

Description

本発明は、情報処理装置及びプログラムに関する。

近年、会議やプレゼンテーションでは、ＰＣ（Personal Computer）やタブレット型端末に資料を表示させながら説明を行う機会が多い。参加者は、表示される資料を閲覧しながら、話のポイントや気付いた点等について、ノートにメモを取ることになる。資料は電子ファイルとして配布される場合もあるが、後に、資料の各ページと手書きされたメモとの対応関係がわからなくなるおそれがある。

そこで、参加者のノートを撮影するカメラが設置された会議室において、会議中に表示される資料のスライドの切り替えに応じて、そのスライドの表示開始時点のノートの撮影画像と、表示切替時点のノートの撮影画像との差分を抽出し、その差分の領域画像データと表示切替時点の撮影画像とを含む差分情報を生成し、スライドＩＤと差分情報とを関連付けて登録する会議資料検索支援装置が提案されている（特許文献１参照）。これにより、ノートにメモが書き込まれた際に表示されていた会議資料を探し出すことができる。

特開２０１０−１７６６０３号公報

しかしながら、上記従来技術においては、会議の進行等に用いられるコンピュータ装置、会議資料が表示される表示板、ノートを撮影するカメラ等を含む大掛かりなシステムが必要であった。また、メモが書き込まれた際に表示されていた会議資料を検索する際にも、ノートをカメラで撮影し、撮影画像と差分情報に含まれる領域画像データとを照合する必要があり、会議資料を特定するための処理が複雑であった。

本発明は、上記の従来技術における問題に鑑みてなされたものであって、記録媒体に記録された内容と表示手段に表示された内容との対応関係を容易に参照可能とすることを課題とする。

上記課題を解決するために、本発明の情報処理装置は、
第１の画像を表示する表示手段と、
記録媒体を撮影して第２の画像を生成する撮像手段と、
所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
前記撮像手段により生成された第２の画像と、前記所定のタイミングに前記表示手段に表示されていた第１の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
前記記録媒体が配置される第１の筐体と、
ヒンジ部により前記第１の筐体と開閉可能に連結され、前記撮像手段が設けられた第２の筐体と、
前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記第１の筐体に対向する位置に設けられており、
前記所定のタイミングは、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである。

本発明によれば、記録媒体に記録された内容と表示手段に表示された内容との対応関係が容易に参照可能となる。

第１の実施の形態における情報処理装置の外観斜視図である。 第１のカバー（第１の筐体）及び第２のカバー（第２の筐体）を閉じる途中の図である。 情報処理装置の機能的構成を示すブロック図である。 第１の撮影処理を示すフローチャートである。 資料画像とメモ画像とが関連付けられた状態を説明するための図である。 表示処理を示すフローチャートである。 （ａ）は、メモ画像表示画面の例である。（ｂ）は、資料画像表示画面の例である。 （ａ）は、第２の実施の形態における情報処理装置が本体カバーに収納されている状態を示す図である。（ｂ）は、情報処理装置が本体カバーに立て掛けられた状態を示す側面図である。（ｃ）は、情報処理装置が本体カバーに立て掛けられた状態を示す斜視図である。 情報処理装置の前に記録媒体が置かれた状態を示す図である。 第２の撮影処理を示すフローチャートである。 第３の撮影処理を示すフローチャートである。

〔第１の実施の形態〕
まず、図１〜図７を参照して、本発明に係る情報処理装置の第１の実施の形態について説明する。なお、本発明は、図示例に限定されるものではない。

図１は、第１の実施の形態における情報処理装置１の外観斜視図である。情報処理装置１は、タブレット型端末装置であり、本体部１０と、バインダ３０と、から構成されている。
本体部１０には、画面表示及びタッチ入力のためのタッチ表示部１４、撮像手段としての撮像部１５等が設けられている。

バインダ３０は、第１の筐体としての第１のカバー３０ａと第２の筐体としての第２のカバー３０ｂとがヒンジ部３０ｃを回転軸として開閉可能に連結されて構成されている。第１のカバー３０ａには記録媒体４０が配置され、第２のカバー３０ｂには本体部１０が設けられている。本体部１０、記録媒体４０は、留め具、フック等により、バインダ３０に着脱可能に装着されている。

なお、本実施の形態において、記録媒体とは、撮影すべき情報が記録されている媒体を示すものであり、情報が記録されている被写体を意味している。また、記録媒体には、情報を電子的に表示可能な電子ペーパーも含まれる。

第１のカバー３０ａ及び第２のカバー３０ｂは、平板長方形状に構成され、ヒンジ部３０ｃにより、本や手帳を開閉するように、開閉可能となっている。図１は、第１のカバー３０ａと第２のカバー３０ｂとのなす角度が１８０°である状態（開いた状態）を図示している。ユーザは、この状態でタッチ表示部１４に表示される画面の参照及びタッチ入力を行い、記録媒体４０に文字や図表等を記入する。

ヒンジ部３０ｃには、第１のカバー３０ａと第２のカバー３０ｂとのなす角度を検出する開閉角度センサ２０が設けられている。開閉角度センサ２０は、ヒンジ部３０ｃの軸の回転を検出するロータリーエンコーダや、ホール素子等を用いて開閉状態を検出する磁気センサによって構成されている。

記録媒体４０は、ユーザがメモを取る際に使用するノートやレポート用紙、資料が印刷されている用紙、書籍等である。ただし、記録媒体４０は、撮影すべき情報が記録されている媒体であればよく、素材は紙に限定されない。記録媒体４０は、１枚のシート状の用紙であってもよいし、冊子状に綴じられていてもよい。

図２は、バインダ３０を構成する第１のカバー３０ａ及び第２のカバー３０ｂを閉じる途中の図である。撮像部１５は、本体部１０の第１のカバー３０ａに対向する位置に設けられており、第１のカバー３０ａと第２のカバー３０ｂとのなす角度が所定の角度（例えば、７０°等）になった場合に、撮像部１５により記録媒体４０が撮影される。所定の角度は、撮影に最適な角度に予め設定されており、この角度に合わせてフォーカス、露出等の撮影条件が設定されている。ユーザが第１のカバー３０ａ及び第２のカバー３０ｂを閉じると（第１のカバー３０ａと第２のカバー３０ｂとのなす角度を０°にすると）、閉じる途中で所定の角度を通過するため、ユーザが意識することなく撮影を行うことができる。

図３は、情報処理装置１の機能的構成を示すブロック図である。
情報処理装置１は、撮影制御手段、記憶制御手段、検出手段、表示制御手段としてのＣＰＵ（Central Processing Unit）１１と、電源部１２と、操作部１３と、タッチ表示部１４と、撮像部１５と、無線通信部１６と、ＲＡＭ（Random Access Memory）１７と、ＲＯＭ（Read Only Memory）１８と、記憶部１９と、開閉角度センサ２０と、を備える。

ＣＰＵ１１は、操作部１３やタッチ表示部１４から入力される操作信号又は無線通信部１６により受信される指示信号に応じて、情報処理装置１の各部の処理動作を統括的に制御する。具体的には、ＣＰＵ１１は、ＲＯＭ１８に記憶されている各種処理プログラムを読み出してＲＡＭ１７に展開し、当該プログラムとの協働により各種処理を行う。

電源部１２は、情報処理装置１を構成する各部に電力を供給する。
操作部１３は、電源をオン／オフさせる電源キー等の操作キーを備え、各操作キーに対応する操作信号をＣＰＵ１１に出力する。

タッチ表示部１４は、表示手段としての表示パネル１４ａにタッチパネル１４ｂが積層されて構成されている。表示パネル１４ａは、ＬＣＤ（Liquid Crystal Display）等で構成され、ＣＰＵ１１からの表示制御信号に従って画面表示を行う。表示パネル１４ａは、第１の画像としての資料画像を表示する。タッチパネル１４ｂは、ユーザの指等によるタッチ操作の位置を検出し、その位置に応じた操作信号をＣＰＵ１１に出力する。タッチパネル１４ｂは、ユーザによる操作指示を受け付ける操作手段である。

撮像部１５は、光学レンズ、撮像素子、各種センサ等を備え、被写体の撮影を行うデジタルカメラである。撮像部１５は、記録媒体４０を撮影して第２の画像としてのメモ画像を生成する。
無線通信部１６は、無線ＬＡＮ（Local Area Network）ルータを介してインターネットに接続し、データ通信を行う無線通信モジュールである。

ＲＡＭ１７は、揮発性のメモリである。ＲＡＭ１７には、ＣＰＵ１１により実行される各種プログラムやこれら各種プログラムに係るデータ等が一時的に格納される。
ＲＯＭ１８は、各種プログラム及び各種データを記憶する読み出し専用の半導体メモリである。ＲＯＭ１８には、撮影処理プログラム１８１、表示処理プログラム１８２等が記憶されている。

記憶部１９は、ＨＤＤ（Hard Disk Drive）や不揮発性メモリ等により構成され、情報を読み出し及び書き込み可能に記憶する。具体的には、記憶部１９には、資料の電子データ等が記憶されている。資料の電子データは、スライド形式で文字や図表を表示するプレゼンテーションソフトウェアにより作成されたものの他、ＰＤＦ（登録商標；Portable Document Format）等のデータであってもよく、データ形式については限定されない。

開閉角度センサ２０は、第１のカバー３０ａと第２のカバー３０ｂとのなす角度を検出し、検出した角度をＣＰＵ１１に出力する。

ＣＰＵ１１は、開閉角度センサ２０から出力された角度に基づいて、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことを検出する。
ＣＰＵ１１は、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出されたタイミングで、撮像部１５に撮影を行わせる。撮影画像（メモ画像）の画像データは、ＪＰＥＧ、ＴＩＦＦ等のデータ形式で生成される。
ＣＰＵ１１は、撮像部１５により生成されたメモ画像と、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させる。表示パネル１４ａに表示されていた資料画像を画面キャプチャーした画像データは、ＪＰＥＧ、ＧＩＦ、ＰＮＧ等のデータ形式で生成される。

ＣＰＵ１１は、記憶部１９に記憶されている資料画像が表示パネル１４ａに表示されている状態でタッチパネル１４ｂから表示を切り替えるための操作指示が入力された場合に、記憶部１９から表示パネル１４ａに表示されている資料画像と関連付けられたメモ画像を読み出し、当該読み出したメモ画像を表示パネル１４ａに表示させる。
ＣＰＵ１１は、記憶部１９に記憶されているメモ画像が表示パネル１４ａに表示されている状態でタッチパネル１４ｂから表示を切り替えるための操作指示が入力された場合に、記憶部１９から表示パネル１４ａに表示されているメモ画像と関連付けられた資料画像を読み出し、当該読み出した資料画像を表示パネル１４ａに表示させる。

次に、情報処理装置１における動作について説明する。
図４は、情報処理装置１において実行される第１の撮影処理を示すフローチャートである。この処理は、ＣＰＵ１１とＲＯＭ１８に記憶されている撮影処理プログラム１８１との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、開閉角度センサ２０により出力された第１のカバー３０ａと第２のカバー３０ｂとのなす角度に基づいて、開閉角度が所定の角度（例えば、７０°等）以下であるか否かを判断する（ステップＳ１）。すなわち、ＣＰＵ１１は、バインダ３０を構成する第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたか否かを判断する。

開閉角度が所定の角度以下である場合（ステップＳ１；ＹＥＳ）、すなわち、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられた場合には、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成されたメモ画像を取得する（ステップＳ２）。例えば、ＣＰＵ１１は、撮像部１５により出力された撮影画像から記録媒体４０の領域を抽出し、抽出した領域に対して台形歪みを補正する処理等を行う。ＣＰＵ１１は、メモ画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、タッチ表示部１４の表示パネル１４ａに表示されている資料画像をキャプチャーし、資料画像（スクリーンショット）を保存する（ステップＳ３）。ＣＰＵ１１は、資料画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、ステップＳ２において取得されたメモ画像と、ステップＳ３において保存された資料画像と、を関連付けて記憶部１９に記憶させる（ステップＳ４）。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、撮影モードを終了する旨の指示があったか否かを判断する（ステップＳ５）。

ステップＳ１において、開閉角度が所定の角度より大きい場合（ステップＳ１；ＮＯ）、又は、ステップＳ５において、撮影モードを終了する旨の指示がない場合には（ステップＳ５；ＮＯ）、ステップＳ１に戻り、処理が繰り返される。

ステップＳ５において、撮影モードを終了する旨の指示があった場合には（ステップＳ５；ＹＥＳ）、第１の撮影処理が終了する。

第１の撮影処理により、図５に示すように、資料画像とメモ画像とが関連付けられる。資料画像とメモ画像とは、一対一に関連付けられるだけでなく、一つの資料画像に対して複数のメモ画像が関連付けられてもよいし、一つのメモ画像に対して複数の資料画像が関連付けられてもよい。

なお、ステップＳ３において、表示パネル１４ａに表示されている資料画像が前回キャプチャーされた資料画像と同一である場合には、ステップＳ３の処理を省略することとしてもよい。

次に、図６を参照して、情報処理装置１において実行される表示処理について説明する。この処理は、ＣＰＵ１１とＲＯＭ１８に記憶されている表示処理プログラム１８２との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、記憶部１９に記憶されているメモ画像のうち表示対象となるメモ画像が選択されたか否かを判断する（ステップＳ１１）。表示対象となるメモ画像が選択された場合には（ステップＳ１１；ＹＥＳ）、ＣＰＵ１１は、選択されたメモ画像を記憶部１９から読み出して、読み出したメモ画像を表示パネル１４ａに表示させる（ステップＳ１２）。

次に、ＣＰＵ１１は、表示パネル１４ａに表示されているメモ画像と関連付けられた資料画像が記憶部１９に記憶されているか否かを判断する（ステップＳ１３）。表示中のメモ画像と関連付けられた資料画像が記憶部１９に記憶されている場合には（ステップＳ１３；ＹＥＳ）、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示中のメモ画像と関連付けられた資料画像の表示が指示されたか否かを判断する（ステップＳ１４）。すなわち、ＣＰＵ１１は、表示を切り替えるための操作指示が入力されたか否かを判断する。

図７（ａ）に、表示パネル１４ａに表示されるメモ画像表示画面１４１の例を示す。メモ画像表示画面１４１には、メモ画像が表示されている。このメモ画像と関連付けられた資料画像が存在する場合には、メモ画像表示画面１４１に切り替えボタンＢ１が表示される。ユーザは、この切り替えボタンＢ１をタッチすることにより、表示中のメモ画像と関連付けられた資料画像の表示を指示することができる。

ステップＳ１４において、表示中のメモ画像と関連付けられた資料画像の表示が指示された場合には（ステップＳ１４；ＹＥＳ）、ＣＰＵ１１は、表示中のメモ画像と関連付けられた資料画像を記憶部１９から読み出して、読み出した資料画像を表示パネル１４ａに表示させる（ステップＳ１５）。

次に、ＣＰＵ１１は、表示パネル１４ａに表示されている資料画像と関連付けられたメモ画像が記憶部１９に記憶されているか否かを判断する（ステップＳ１６）。表示中の資料画像と関連付けられたメモ画像が記憶部１９に記憶されている場合には（ステップＳ１６；ＹＥＳ）、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示中の資料画像と関連付けられたメモ画像の表示が指示されたか否かを判断する（ステップＳ１７）。すなわち、ＣＰＵ１１は、表示を切り替えるための操作指示が入力されたか否かを判断する。

図７（ｂ）に、表示パネル１４ａに表示される資料画像表示画面１４２の例を示す。資料画像表示画面１４２には、資料画像が表示されている。この資料画像と関連付けられたメモ画像が存在する場合には、資料画像表示画面１４２に切り替えボタンＢ２が表示される。ユーザは、この切り替えボタンＢ２をタッチすることにより、表示中の資料画像と関連付けられたメモ画像の表示を指示することができる。

ステップＳ１７において、表示中の資料画像と関連付けられたメモ画像の表示が指示された場合には（ステップＳ１７；ＹＥＳ）、ＣＰＵ１１は、表示中の資料画像と関連付けられたメモ画像を記憶部１９から読み出して、読み出したメモ画像を表示パネル１４ａに表示させ（ステップＳ１８）、ステップＳ１３に移行する。

ステップＳ１１において、表示対象となるメモ画像が選択されない場合には（ステップＳ１１；ＮＯ）、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、記憶部１９に記憶されている資料画像のうち表示対象となる資料画像が選択されたか否かを判断する（ステップＳ１９）。表示対象となる資料画像が選択された場合には（ステップＳ１９；ＹＥＳ）、ＣＰＵ１１は、選択された資料画像を記憶部１９から読み出して、読み出した資料画像を表示パネル１４ａに表示させ（ステップＳ２０）、ステップＳ１６に移行する。

ステップＳ１９において、表示対象となる資料画像が選択されない場合には（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。

ステップＳ１３において、表示中のメモ画像と関連付けられた資料画像が記憶部１９に記憶されていない場合（ステップＳ１３；ＮＯ）、ステップＳ１４において、表示中のメモ画像と関連付けられた資料画像の表示が指示されない場合（ステップＳ１４；ＮＯ）、ステップＳ１６において、表示中の資料画像と関連付けられたメモ画像が記憶部１９に記憶されていない場合（ステップＳ１６；ＮＯ）、又は、ステップＳ１７において、表示中の資料画像と関連付けられたメモ画像の表示が指示されない場合には（ステップＳ１７；ＮＯ）、表示処理が終了する。

以上説明したように、第１の実施の形態の情報処理装置１によれば、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出されたタイミングで撮像部１５に撮影を行わせ、撮像部１５により生成されたメモ画像と、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させるので、記録媒体４０に記録された内容（メモ画像）と、表示パネル１４ａに表示された内容（資料画像）と、の対応関係が容易に参照可能となる。

また、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。

また、表示パネル１４ａに資料画像が表示されている状態で、この資料画像と関連付けられたメモ画像の表示へ簡単に切り替えることができる。また、表示パネル１４ａにメモ画像が表示されている状態で、このメモ画像と関連付けられた資料画像の表示へ簡単に切り替えることができる。

なお、予め手書きメモを撮影又はスキャンしてメモ画像の電子データを生成しておき、表示パネル１４ａにメモ画像を表示した状態で資料（記録媒体４０）の撮影を行い、撮影により得られた資料画像（第２の画像）と、撮影時に表示パネル１４ａに表示されていたメモ画像（第１の画像）と、を関連付けて記憶することとしてもよい。

また、第１のカバー３０ａと第２のカバー３０ｂの開閉角度の検出方法は、上記の方法に限定されない。例えば、第１のカバー３０ａの所定の位置に指標を付しておき、撮像部１５により取り込まれた画像内の指標の位置に基づいて、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことを検出することとしてもよい。また、第２のカバー３０ｂ内に加速度センサを設け、加速度センサにより重力の方向を検出して、第１のカバー３０ａと第２のカバー３０ｂの開閉角度を検出することとしてもよい。

〔第２の実施の形態〕
次に、本発明を適用した第２の実施の形態について説明する。
図８（ａ）は、第２の実施の形態における情報処理装置１Ａが本体カバー５０に収納されている状態を示す図であり、図８（ｂ）及び（ｃ）は、情報処理装置１Ａが本体カバー５０に立て掛けられた状態を示す図である。情報処理装置１Ａにおいて、第１の実施の形態に示した情報処理装置１と同様の構成については、同一の符号を付し、説明を省略する。

図９は、情報処理装置１Ａが本体カバー５０に立て掛けられ、情報処理装置１Ａの前に記録媒体４０が置かれた状態を示す図である。第２の実施の形態では、記録媒体４０は複数のページからなる冊子状に構成されており、記録媒体４０のページをめくるタイミングで、撮像部１５により記録媒体４０が撮影される。情報処理装置１Ａの下端と記録媒体４０の上端とを合わせるように記録媒体４０を置くと、撮像部１５の画角及びピントが記録媒体４０に合うように予め設定されている。

情報処理装置１Ａは、第１の実施の形態に示した情報処理装置１との比較において、開閉角度センサ２０及びバインダ３０が不要である点が異なるが、その他の構成については情報処理装置１と同様であるため、図３を援用し、説明を省略する。以下、第２の実施の形態に特徴的な構成及び処理について説明する。

ＣＰＵ１１は、撮像部１５により連続的に撮影される動画像データを取り込み、この動画像データを解析することにより、撮影されている記録媒体４０のページめくり動作を検出する。撮像部１５から出力される画像データが変化しつつある間は、記録媒体４０の各ページやユーザの指等が移動中であると推測される。ＣＰＵ１１は、撮像部１５により撮影された動画像データを取り込み続け、画像が静止した場合に、ページめくり動作が行われたと判断する。
ＣＰＵ１１は、記録媒体４０のページめくり動作が検出されたタイミングで、撮像部１５に撮影を行わせる。
ＣＰＵ１１は、撮像部１５により生成されたメモ画像と、記録媒体４０のページめくり動作が検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させる。

次に、情報処理装置１Ａにおける動作について説明する。
図１０は、情報処理装置１Ａにおいて実行される第２の撮影処理を示すフローチャートである。この処理は、ＣＰＵ１１とＲＯＭ１８に記憶されている撮影処理プログラム１８１との協働によるソフトウェア処理によって実現される。この処理は、ユーザが会議等の終了後に、資料を表示パネル１４ａに表示させて確認しながら、記録媒体４０に記録された複数ページからなる手書きメモをまとめて撮影する場合を想定している。

まず、ユーザのタッチパネル１４ｂからの操作により、撮影モードを開始する旨の指示が行われると、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成されたメモ画像（静止画像）を取得する（ステップＳ２１）。ＣＰＵ１１は、メモ画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、表示パネル１４ａに表示されている資料画像をキャプチャーし、資料画像を保存する（ステップＳ２２）。ＣＰＵ１１は、資料画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、ステップＳ２１において取得されたメモ画像と、ステップＳ２２において保存された資料画像と、を関連付けて記憶部１９に記憶させる（ステップＳ２３）。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示パネル１４ａに表示されている資料画像の切り替え指示が行われたか否かを判断する（ステップＳ２４）。資料画像の切り替え指示を検出した場合には（ステップＳ２４；ＹＥＳ）、ＣＰＵ１１は、記憶部１９に記憶されている資料の電子データに基づいて、資料画像を次のページに切り替えて表示パネル１４ａに表示させる（ステップＳ２５）。

ステップＳ２４において、資料画像の切り替え指示を検出しない場合には（ステップＳ２４；ＮＯ）、ＣＰＵ１１は、撮像部１５から連続的に取り込まれた動画像データに基づいて、手書きメモ（記録媒体４０）のページめくり動作を検出したか否かを判断する（ステップＳ２６）。

手書きメモのページめくり動作を検出した場合には（ステップＳ２６；ＹＥＳ）、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成されたメモ画像（静止画像）を取得する（ステップＳ２７）。ＣＰＵ１１は、メモ画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、表示パネル１４ａに表示されている資料画像をキャプチャーし、資料画像を保存する（ステップＳ２８）。ＣＰＵ１１は、資料画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、ステップＳ２７において取得されたメモ画像と、ステップＳ２８において保存された資料画像と、を関連付けて記憶部１９に記憶させる（ステップＳ２９）。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、撮影モードを終了する旨の指示があったか否かを判断する（ステップＳ３０）。

ステップＳ２６において、手書きメモのページめくり動作を検出しない場合（ステップＳ２６；ＮＯ）、ステップＳ３０において、撮影モードを終了する旨の指示がない場合（ステップＳ３０；ＮＯ）、又は、ステップＳ２５の後、ステップＳ２４に戻り、処理が繰り返される。

ステップＳ３０において、撮影モードを終了する旨の指示があった場合には（ステップＳ３０；ＹＥＳ）、第２の撮影処理が終了する。

なお、ステップＳ２８において、表示パネル１４ａに表示されている資料画像が前回キャプチャーされた資料画像と同一である場合には、ステップＳ２８の処理を省略することとしてもよい。

第２の撮影処理により相互に関連付けられた資料画像やメモ画像を表示する際の表示処理については、第１の実施の形態において説明した表示処理と同様である。

以上説明したように、第２の実施の形態の情報処理装置１Ａによれば、記録媒体４０のページめくり動作が検出されたタイミングで撮像部１５に撮影を行わせ、撮像部１５により生成されたメモ画像と、記録媒体４０のページめくり動作が検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させるので、記録媒体４０に記録された内容（メモ画像）と、表示パネル１４ａに表示された内容（資料画像）と、の対応関係が容易に参照可能となる。

また、記録媒体４０のページめくり動作が検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。

なお、予め手書きメモを撮影又はスキャンしてメモ画像の電子データを生成しておき、表示パネル１４ａにメモ画像を表示した状態で、複数のページからなる冊子状の資料（記録媒体４０）を、資料のページめくり動作に応じて撮影し、撮影により得られた資料画像と、撮影時に表示パネル１４ａに表示されていたメモ画像と、を関連付けて記憶することとしてもよい。

また、ページめくり動作の検出方法は、上記の方法に限定されない。例えば、予め記録媒体４０の各ページの所定の位置に、ページを特定するためのマークを付しておき、取り込んだ画像内の所定の位置からマークが検出された場合に、ページめくり動作が行われたと判断することとしてもよい。

〔第３の実施の形態〕
次に、本発明を適用した第３の実施の形態について説明する。
第３の実施の形態における情報処理装置１Ｂは、第１の実施の形態に示した情報処理装置１との比較において、開閉角度センサ２０及びバインダ３０が不要である点が異なるが、その他の構成については情報処理装置１と同様であるため、図３を援用し、説明を省略する。以下、第３の実施の形態に特徴的な構成及び処理について説明する。

ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作に基づいて、表示パネル１４ａに表示される資料画像の切り替え指示（複数ページからなる資料画像の次のページへの切り替え指示）を検出する。
ＣＰＵ１１は、表示パネル１４ａに表示される資料画像の切り替え指示が検出されたタイミングで、撮像部１５に撮影を行わせる。
ＣＰＵ１１は、撮像部１５により生成されたメモ画像と、資料画像の切り替え指示が検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させる。

次に、情報処理装置１Ｂにおける動作について説明する。
図１１は、情報処理装置１Ｂにおいて実行される第３の撮影処理を示すフローチャートである。この処理は、ＣＰＵ１１とＲＯＭ１８に記憶されている撮影処理プログラム１８１との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示パネル１４ａに表示されている資料画像の切り替え指示が行われたか否かを判断する（ステップＳ３１）。資料画像の切り替え指示を検出した場合には（ステップＳ３１；ＹＥＳ）、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成されたメモ画像を取得する（ステップＳ３２）。ＣＰＵ１１は、メモ画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、表示パネル１４ａに表示されている資料画像をキャプチャーし、資料画像を保存する（ステップＳ３３）。ＣＰＵ１１は、資料画像の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、ステップＳ３２において取得されたメモ画像と、ステップＳ３３において保存された資料画像と、を関連付けて記憶部１９に記憶させる（ステップＳ３４）。

次に、ＣＰＵ１１は、記憶部１９に記憶されている資料の電子データに基づいて、資料画像を次のページに切り替えて表示パネル１４ａに表示させる（ステップＳ３５）。ステップＳ３５で資料画像を切り替える前に、ステップＳ３３でメモ画像と関連付ける資料画像を取得しているので、メモ画像とメモが記入された際に表示されていた資料画像とを関連付けることができる。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、撮影モードを終了する旨の指示があったか否かを判断する（ステップＳ３６）。

ステップＳ３１において、資料画像の切り替え指示を検出しない場合（ステップＳ３１；ＮＯ）、又は、ステップＳ３６において、撮影モードを終了する旨の指示がない場合には（ステップＳ３６；ＮＯ）、ステップＳ３１に戻り、処理が繰り返される。

ステップＳ３６において、撮影モードを終了する旨の指示があった場合には（ステップＳ３６；ＹＥＳ）、第３の撮影処理が終了する。

第３の撮影処理により相互に関連付けられた資料画像やメモ画像を表示する際の表示処理については、第１の実施の形態において説明した表示処理と同様である。

以上説明したように、第３の実施の形態の情報処理装置１Ｂによれば、表示パネル１４ａに表示される資料画像の切り替え指示が検出されたタイミングで撮像部１５に撮影を行わせ、撮像部１５により生成されたメモ画像と、資料画像の切り替え指示が検出された際に表示パネル１４ａに表示されていた資料画像と、を関連付けて記憶部１９に記憶させるので、記録媒体４０に記録された内容（メモ画像）と、表示パネル１４ａに表示された内容（資料画像）と、の対応関係が容易に参照可能となる。

また、表示パネル１４ａに表示される資料画像の切り替え指示が検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。

なお、第３の実施の形態では、ユーザのタッチパネル１４ｂからの操作に基づいて、表示パネル１４ａに表示される資料画像を切り替える場合について説明したが、無線通信部１６を介して外部装置から取得される資料画像を受動的に表示パネル１４ａに表示する場合には、表示パネル１４ａに表示される内容が変化したときに、資料画像が切り替えられたと判断すればよい。この場合、ユーザの意志に関係なく表示パネル１４ａの表示内容が切り替わってしまうので、資料画像が切り替えられたタイミングで撮影されたメモ画像と、表示パネル１４ａをキャプチャーして得られた資料画像と、の間にズレが生じる。そのため、１番目の資料画像については予め取得しておき、１番目の資料画像と、２番目の資料画像に切り替えられたタイミングで撮影されたメモ画像と、を関連付けることとすればよい。そして、２番目の資料画像に切り替えられたタイミングで表示パネル１４ａをキャプチャーして得られた２番目の資料画像と、３番目の資料画像に切り替えられたタイミングで撮影されたメモ画像と、を順次関連付けていけばよい。

なお、上記各実施の形態における記述は、本発明に係る情報処理装置の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

例えば、上記各実施の形態では、相互に関連付けられた資料画像とメモ画像とを切り替えて表示パネル１４ａに表示することとしたが、相互に関連付けられた資料画像とメモ画像とを表示パネル１４ａの同一画面に同時に並べて表示することとしてもよい。また、相互に関連付けられた資料画像とメモ画像とを同じページに印刷させるべく、無線通信部１６を介して印刷データをプリンタに出力することとしてもよい。

また、表示パネル１４ａに表示される資料画像は、予め記憶部１９に記憶されているものに限らず、無線通信部１６を介してＷｅｂサーバから取得されたＷｅｂ表示画面等、外部装置から取得されたものであってもよい。

以上の説明では、各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
第１の画像を表示する表示手段と、
記録媒体を撮影して第２の画像を生成する撮像手段と、
所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
前記撮像手段により生成された第２の画像と、前記所定のタイミングに前記表示手段に表示されていた第１の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
を備える情報処理装置。
＜請求項２＞
前記記録媒体が配置される第１の筐体と、
ヒンジ部により前記第１の筐体と開閉可能に連結され、本体部が設けられた第２の筐体と、
前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、
前記所定のタイミングは、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである、
請求項１に記載の情報処理装置。
＜請求項３＞
前記記録媒体は複数のページからなる冊子状に構成されており、
前記記録媒体のページめくり動作を検出する検出手段を備え、
前記所定のタイミングは、前記検出手段により前記記録媒体のページめくり動作が検出されたタイミングである、
請求項１に記載の情報処理装置。
＜請求項４＞
前記表示手段に表示される第１の画像の切り替え指示を検出する検出手段を備え、
前記所定のタイミングは、前記検出手段により前記表示手段に表示される第１の画像の切り替え指示が検出されたタイミングである、
請求項１に記載の情報処理装置。
＜請求項５＞
ユーザによる操作指示を受け付ける操作手段と、
前記記憶手段に記憶されている第１の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第１の画像と関連付けられた第２の画像を読み出し、当該読み出した第２の画像を前記表示手段に表示させ、前記記憶手段に記憶されている第２の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第２の画像と関連付けられた第１の画像を読み出し、当該読み出した第１の画像を前記表示手段に表示させる表示制御手段と、
を備える、
請求項１〜４のいずれか一項に記載の情報処理装置。
＜請求項６＞
コンピュータを、
表示手段に第１の画像を表示させる表示制御手段、
記録媒体を撮影して第２の画像を生成する撮像手段に所定のタイミングで撮影を行わせる撮影制御手段、
前記撮像手段により生成された第２の画像と、前記所定のタイミングに前記表示手段に表示されていた第１の画像と、を関連付けて記憶手段に記憶させる記憶制御手段、
として機能させるためのプログラム。

１ 情報処理装置
１Ａ 情報処理装置
１Ｂ 情報処理装置
１０ 本体部
１１ ＣＰＵ
１２ 電源部
１３ 操作部
１４ タッチ表示部
１４ａ 表示パネル
１４ｂ タッチパネル
１５ 撮像部
１６ 無線通信部
１７ ＲＡＭ
１８ ＲＯＭ
１９ 記憶部
２０ 開閉角度センサ
３０ バインダ
３０ａ 第１のカバー
３０ｂ 第２のカバー
３０ｃ ヒンジ部
４０ 記録媒体
５０ 本体カバー
１８１ 撮影処理プログラム
１８２ 表示処理プログラム

本発明は、撮像された画像をその撮像時に出力されていた出力情報に関連付けて自動的に記憶できるようにすることを課題とする。

請求項1の発明は、各種情報を処理する情報処理装置であって、出力対象として指定された出力情報を出力する出力手段と、撮像手段による画像の撮像を制御する撮像制御手段と、前記撮像手段による画像の撮像を特定状態で行った際は、その撮像時に前記出力手段で出力されていた出力情報に対応する出力対応情報を特定する特定手段と、前記特定手段で特定された出力対応情報を、前記撮像手段で撮像された画像に関連付けて記憶手段に記憶させる記憶制御手段と、を具備したことを特徴とする。
請求項２の発明は、各種情報を処理する情報処理装置であって、出力対象として指定された出力情報を出力する出力手段と、撮像手段による画像の撮像を制御する撮像制御手段と、ユーザによる特定動作を検出した際は、前記撮像手段による画像の撮像を行い、その撮像時に前記出力手段で出力されていた出力情報に対応する出力対応情報を特定する特定手段と、前記特定手段で特定された出力対応情報を、前記撮像手段で撮像された画像に関連付けて記憶手段に記憶させる記憶制御手段と、を具備したことを特徴とする。
請求項３は、各種情報を処理する情報処理装置であって、出力対象として指定された出力情報を出力する出力手段と、撮像手段による画像の撮像を制御する撮像制御手段と、前記出力手段で出力される出力情報の切り替えを検出した際は、前記撮像手段による画像の撮像を行い、その撮像時に前記出力手段で出力されていた出力情報に対応する出力対応情報を特定する特定手段と、前記特定手段で特定された出力対応情報を、前記撮像手段で撮像された画像に関連付けて記憶手段に記憶させる記憶制御手段と、を具備したことを特徴とする。

本発明によれば、撮像された画像をその撮像時に出力されていた出力情報に関連付けて自動的に記憶することが可能となる。

Claims (5)

1. 第１の画像を表示する表示手段と、
   記録媒体を撮影して第２の画像を生成する撮像手段と、
   所定のタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
   前記撮像手段により生成された第２の画像と、前記所定のタイミングに前記表示手段に表示されていた第１の画像と、を関連付けて記憶手段に記憶させる記憶制御手段と、
   前記記録媒体が配置される第１の筐体と、
   ヒンジ部により前記第１の筐体と開閉可能に連結され、前記撮像手段が設けられた第２の筐体と、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
   を備え、
   前記撮像手段は、前記第１の筐体に対向する位置に設けられており、
   前記所定のタイミングは、前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングである情報処理装置。
2. ユーザによる操作指示を受け付ける操作手段と、
   前記記憶手段に記憶されている第１の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第１の画像と関連付けられた第２の画像を読み出し、当該読み出した第２の画像を前記表示手段に表示させ、前記記憶手段に記憶されている第２の画像が前記表示手段に表示されている状態で前記操作手段から表示を切り替えるための操作指示が入力された場合に、前記記憶手段から前記表示手段に表示されている第２の画像と関連付けられた第１の画像を読み出し、当該読み出した第１の画像を前記表示手段に表示
   させる表示制御手段と、
   を備える、
   請求項１に記載の情報処理装置。
3. 第１の画像を表示する表示手段と、記録媒体が配置される第１の筐体と、ヒンジ部により前記第１の筐体と開閉可能に連結され、前記第１の筐体に対向する位置に前記記録媒体を撮影して第２の画像を生成する撮像手段が設けられた第２の筐体と、を備える情報処理装置のコンピュータを、
   前記表示手段に前記第１の画像を表示させる表示制御手段、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段、
   前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に前記記録媒体を撮影させ、前記第２の画像を生成させる撮影制御手段、
   前記撮像手段により生成された第２の画像と、前記タイミングに前記表示手段に表示されていた第１の画像と、を関連付けて記憶手段に記憶させる記憶制御手段、
   として機能させるためのプログラム。
4. 表示手段と、
   記録媒体が配置される第１の筐体と、
   前記第１の筐体と開閉可能に連結され、前記第１の筐体に対向する位置に前記記録媒体を撮影する撮像手段が設けられた第２の筐体と、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
   前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
   前記撮像手段により撮影された画像と、前記タイミングに前記表示手段に表示されていた資料と、を関連付けて記憶手段に記憶させる記憶制御手段と、
   を備える情報処理装置。
5. 表示手段と、記録媒体が配置される第１の筐体と、前記第１の筐体と開閉可能に連結され、前記第１の筐体に対向する位置に前記記録媒体を撮影する撮像手段が設けられた第２の筐体と、を備える情報処理装置のコンピュータを、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段、
   前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段、
   前記撮像手段により撮影された画像と、前記タイミングに前記表示手段に表示されていた資料と、を関連付けて記憶手段に記憶させる記憶制御手段、
   として機能させるためのプログラム。

Images