JP2016164797A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】記録媒体に記録された内容を有効に活用する。【解決手段】記録媒体に記録された手書きメモを撮影し（ステップＳ２）、撮影画像の全領域について所定のマークが記録されているかを検索する（ステップＳ３）。処理していないマークがある場合には（ステップＳ４；ＹＥＳ）、撮影画像に認識されたマークの種類を示すタグを付与する（ステップＳ５）。認識されたマークがコマンドマークでない場合には（ステップＳ６；ＮＯ）、撮影画像からマークに対応する領域を切り出し（ステップＳ７）、切り出された領域をマークの種類毎のリストに追加する（ステップＳ８）。認識されたマークがコマンドマークである場合には（ステップＳ６；ＹＥＳ）、コマンドマーク対応テーブルを参照して、マークに対応付けられたコマンドを読み出し（ステップＳ９）、読み出されたコマンドを撮影画像について実行する（ステップＳ１０）。【選択図】図８

Description

本発明は、情報処理装置及びプログラムに関する。

近年、会議やプレゼンテーションでは、ＰＣ（Personal Computer）やタブレット型端末に資料を表示させながら説明を行う機会が多い。参加者は、表示される資料を閲覧しながら、話のポイントや気付いた点等について、ノートにメモを取ることになる。

資料のどのページを見ながらどのメモを取ったのか、後に対応関係がわからなくなるおそれがあるため、会議中に表示される資料のスライドの切り替えに応じて、そのスライドの表示開始時点のノートの撮影画像と、表示切替時点のノートの撮影画像との差分を抽出し、その差分の領域画像データと表示切替時点の撮影画像とを含む差分情報を生成し、スライドＩＤと差分情報とを関連付けて登録する会議資料検索支援装置が提案されている（特許文献１参照）。

特開２０１０−１７６６０３号公報

ところで、紙文書の電子化の流れに伴い、メモはノートで保存されるだけでなく、メモを撮影して得られた画像データとして保存されることが増えてきている。しかしながら、ノートに記録されたメモの内容をそのまま画像データとして保存するだけでは、後から見た時にわかりにくく、どこに何が書かれているのかを探すのも困難であった。

また、メモを取っている時に、そのメモの内容をグループ内で共有しようと考えていた場合、メモを撮影した後、撮影画像を共有ストレージにアップロードする等の煩雑な操作を行わなければならなかった。あるいは、その処理を行うことを忘れてしまうおそれがあった。

本発明は、上記の従来技術における問題に鑑みてなされたものであって、記録媒体に記録された内容を有効に活用することを課題とする。

上記課題を解決するために、本発明の情報処理装置は、
記録媒体を撮影して撮影画像を生成する撮像手段と、
前記撮像手段により生成された撮影画像の全領域について所定の手書きマークが記録されているかを検索する検索手段と、
当該検索により認識された手書きマークに応じた所定の処理を実行する実行手段と、
を備える。

本発明によれば、記録媒体に記録された内容を有効に活用することができる。

第１の実施の形態における情報処理装置の外観斜視図である。 第１のカバー（第１の筐体）及び第２のカバー（第２の筐体）を閉じる途中の図である。 情報処理装置の機能的構成を示すブロック図である。 分類用マーク対応テーブルのデータ構成例を示す図である。 コマンドマーク対応テーブルのデータ構成例を示す図である。 撮影画像データベースのデータ構成例を示す図である。 分類リストのデータ構成例を示す図である。 マーク認識処理を示すフローチャートである。 手書き文字及び手書きマークが記録された記録媒体を撮影して得られた撮影画像の例を示す図である。 タグ別検索処理を示すフローチャートである。 検索画面の例を示す図である。 リスト表示処理を示すフローチャートである。 アイデアリスト画面、決定事項リスト画面、やる事リスト画面の例を示す図である。 自動投稿処理を示すフローチャートである。 クリッピング処理を示すフローチャートである。 「クリッピング」マークが記録された記録媒体を撮影して得られた撮影画像の例を示す図である。 （ａ）は、第２の実施の形態における情報処理装置が本体カバーに収納されている状態を示す図である。（ｂ）は、情報処理装置が本体カバーに立て掛けられた状態を示す側面図である。（ｃ）は、情報処理装置が本体カバーに立て掛けられた状態を示す斜視図である。 情報処理装置の前に記録媒体が置かれた状態を示す図である。

〔第１の実施の形態〕
まず、図１〜図１６を参照して、本発明に係る情報処理装置の第１の実施の形態について説明する。なお、本発明は、図示例に限定されるものではない。

図１は、第１の実施の形態における情報処理装置１の外観斜視図である。情報処理装置１は、タブレット型端末装置であり、本体部１０と、バインダ３０と、から構成されている。
本体部１０には、画面表示及びタッチ入力のためのタッチ表示部１４、撮像手段としての撮像部１５等が設けられている。

バインダ３０は、第１の筐体としての第１のカバー３０ａと第２の筐体としての第２のカバー３０ｂとがヒンジ部３０ｃを回転軸として開閉可能に連結されて構成されている。第１のカバー３０ａには記録媒体４０が配置され、第２のカバー３０ｂには本体部１０が設けられている。本体部１０、記録媒体４０は、留め具、フック等により、バインダ３０に着脱可能に装着されている。

なお、本実施の形態において、記録媒体とは、撮影すべき情報が記録されている媒体を示すものであり、情報が記録されている被写体を意味している。また、記録媒体には、情報を電子的に表示可能な電子ペーパーも含まれる。

第１のカバー３０ａ及び第２のカバー３０ｂは、平板長方形状に構成され、ヒンジ部３０ｃにより、本や手帳を開閉するように、開閉可能となっている。図１は、第１のカバー３０ａと第２のカバー３０ｂとのなす角度が１８０°である状態（開いた状態）を図示している。ユーザは、この状態でタッチ表示部１４に表示される画面の参照及びタッチ入力を行い、記録媒体４０に文字や図表等を記入する。

ヒンジ部３０ｃには、第１のカバー３０ａと第２のカバー３０ｂとのなす角度を検出する開閉角度センサ２０が設けられている。開閉角度センサ２０は、ヒンジ部３０ｃの軸の回転を検出するロータリーエンコーダや、ホール素子等を用いて開閉状態を検出する磁気センサによって構成されている。

記録媒体４０は、ユーザがメモを取る際に使用するノートやレポート用紙、資料が印刷されている用紙、書籍等である。ただし、記録媒体４０は、撮影すべき情報が記録されている媒体であればよく、素材は紙に限定されない。記録媒体４０は、１枚のシート状の用紙であってもよいし、冊子状に綴じられていてもよい。

図２は、バインダ３０を構成する第１のカバー３０ａ及び第２のカバー３０ｂを閉じる途中の図である。撮像部１５は、本体部１０の第１のカバー３０ａに対向する位置に設けられており、第１のカバー３０ａと第２のカバー３０ｂとのなす角度が所定の角度（例えば、７０°等）になった場合に、撮像部１５により記録媒体４０が撮影される。所定の角度は、撮影に最適な角度に予め設定されており、この角度に合わせてフォーカス、露出等の撮影条件が設定されている。ユーザが第１のカバー３０ａ及び第２のカバー３０ｂを閉じると（第１のカバー３０ａと第２のカバー３０ｂとのなす角度を０°にすると）、閉じる途中で所定の角度を通過するため、ユーザが意識することなく撮影を行うことができる。

図３は、情報処理装置１の機能的構成を示すブロック図である。
情報処理装置１は、検索手段、実行手段、検出手段、撮影制御手段、管理手段、切り出し手段、記憶制御手段、表示制御手段、読み出し手段、コマンド実行手段、送信制御手段としてのＣＰＵ（Central Processing Unit）１１と、電源部１２と、操作部１３と、タッチ表示部１４と、撮像部１５と、無線通信部１６と、ＲＡＭ（Random Access Memory）１７と、ＲＯＭ（Read Only Memory）１８と、記憶部１９と、開閉角度センサ２０と、計時部２１と、を備える。

ＣＰＵ１１は、操作部１３やタッチ表示部１４から入力される操作信号又は無線通信部１６により受信される指示信号に応じて、情報処理装置１の各部の処理動作を統括的に制御する。具体的には、ＣＰＵ１１は、ＲＯＭ１８に記憶されている各種処理プログラムを読み出してＲＡＭ１７に展開し、当該プログラムとの協働により各種処理を行う。

電源部１２は、情報処理装置１を構成する各部に電力を供給する。
操作部１３は、電源をオン／オフさせる電源キー等の操作キーを備え、各操作キーに対応する操作信号をＣＰＵ１１に出力する。

タッチ表示部１４は、表示手段としての表示パネル１４ａにタッチパネル１４ｂが積層されて構成されている。表示パネル１４ａは、ＬＣＤ（Liquid Crystal Display）等で構成され、ＣＰＵ１１からの表示制御信号に従って画面表示を行う。タッチパネル１４ｂは、ユーザの指等によるタッチ操作の位置を検出し、その位置に応じた操作信号をＣＰＵ１１に出力する。タッチパネル１４ｂは、ユーザによる操作指示を受け付ける。

撮像部１５は、光学レンズ、撮像素子、各種センサ等を備え、被写体の撮影を行うデジタルカメラである。撮像部１５は、記録媒体４０を撮影して撮影画像を生成する。
無線通信部１６は、無線ＬＡＮ（Local Area Network）ルータを介してインターネットに接続し、データ通信を行う無線通信モジュールである。

ＲＡＭ１７は、揮発性のメモリである。ＲＡＭ１７には、ＣＰＵ１１により実行される各種プログラムやこれら各種プログラムに係るデータ等が一時的に格納される。
ＲＯＭ１８は、各種プログラム及び各種データを記憶する読み出し専用の半導体メモリである。ＲＯＭ１８には、マーク認識処理プログラム１８１等が記憶されている。

記憶部１９は、ＨＤＤ（Hard Disk Drive）や不揮発性メモリ等により構成され、情報を読み出し及び書き込み可能に記憶する。具体的には、記憶部１９には、分類用マーク対応テーブル１９１、コマンドマーク対応テーブル１９２、撮影画像データベース１９３、分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・等が記憶されている。

図４に、分類用マーク対応テーブル１９１のデータ構成例を示し、図５に、コマンドマーク対応テーブル１９２のデータ構成例を示す。
分類用マーク対応テーブル１９１には、分類用に予め用意されている複数種類の手書きマーク（以下、マークという。）毎に、マークに対応する画像パターン（テンプレート）と、分類項目と、が対応付けられて格納されている。
コマンドマーク対応テーブル１９２には、コマンドマークとして予め用意されている複数種類のマーク毎に、マークに対応する画像パターン（テンプレート）と、マークが意味するコマンドと、が対応付けられて格納されている。
マークは、他のマークや文字と区別して、容易に認識することができる形であることが望ましい。

図６に、撮影画像データベース１９３のデータ構成例を示す。撮影画像データベース１９３には、撮影により生成された撮影画像の画像データと、撮影画像に付与されたタグと、作成日時と、が対応付けられて格納される。撮影画像の画像データは、ＪＰＥＧ、ＴＩＦＦ等のデータ形式で生成される。

図７に、分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・のデータ構成例を示す。
分類リスト１９４ａには、「アイデア」マーク（図４参照）が記録された撮影画像から切り出された領域の画像データと、当該領域が切り出された元画像を示す情報（ファイル名、格納場所等）と、撮影画像から切り出された領域の座標データと、が対応付けられて格納される。
分類リスト１９４ｂには、「決定事項」マーク（図４参照）が記録された撮影画像から切り出された領域の画像データと、当該領域が切り出された元画像を示す情報と、撮影画像から切り出された領域の座標データと、が対応付けられて格納される。
分類リスト１９４ｃには、「やる事」マーク（図４参照）が記録された撮影画像から切り出された領域の画像データと、当該領域が切り出された元画像を示す情報と、撮影画像から切り出された領域の座標データと、が対応付けられて格納される。
すなわち、分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・は、分類用マークの種類の数だけ用意されている。

また、記憶部１９には、「自動投稿」マーク（図５参照）と対応付けられて、自動投稿処理（図１４参照）において撮影画像の送信先となる共有ストレージを示す情報が予め記憶されている。また、記憶部１９には、「クリッピング」マーク（図５参照）と対応付けられて、クリッピング処理（図１５参照）において切り出し領域の送信先となる共有ストレージを示す情報が予め記憶されている。共有ストレージは、通信ネットワークと接続され、情報処理装置１との間でデータ通信可能なデータ保管装置であり、登録されたメンバーに対して保管しているデータの閲覧を許可する。送信先（共有ストレージ）は、パス、メールアドレス等により指定される。コマンドに応じて複数の送信先が設定されていてもよい。

開閉角度センサ２０は、第１のカバー３０ａと第２のカバー３０ｂとのなす角度を検出し、検出した角度をＣＰＵ１１に出力する。

計時部２１は、計時回路（ＲＴＣ：Real Time Clock）を有し、この計時回路により現在日時を計時してＣＰＵ１１に出力する。

ＣＰＵ１１は、開閉角度センサ２０から出力された角度に基づいて、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことを検出する。
ＣＰＵ１１は、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出されたタイミングで、撮像部１５に撮影を行わせる。

ＣＰＵ１１は、撮像部１５により生成された撮影画像の全領域について所定のマークが記録されているかを検索する。具体的には、ＣＰＵ１１は、撮影画像の画像データに対し、光学式マーク認識処理（ＯＭＲ：Optical Mark Recognition）を行い、記録媒体４０に記録されたマークを検出する。まず、ＣＰＵ１１は、撮影画像に対して二値化処理、ノイズ除去処理を行っておく。そして、ＣＰＵ１１は、記憶部１９に記憶されている分類用マーク対応テーブル１９１、コマンドマーク対応テーブル１９２から各マークに対応するテンプレートを読み出し、撮影画像上を順次走査して、撮影画像内にテンプレートと一致する領域があるか否かを調べる。テンプレートとの比較は、一定の幅をもって行われる。テンプレートに対して拡大・縮小・回転等を施してもよい。
ＣＰＵ１１は、撮影画像の全領域における検索により認識されたマークに応じた所定の処理を実行する。

認識されたマークが分類用マークであった場合には、ＣＰＵ１１は、撮影画像から認識されたマークに対応する領域を切り出し、切り出された領域をマークの種類毎に分類して記憶部１９の分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・に記憶させる。また、ＣＰＵ１１は、切り出された領域をマークの種類毎にリスト化して表示パネル１４ａに表示させる。

認識されたマークがコマンドマークであった場合には、ＣＰＵ１１は、認識されたマークに対応付けられたコマンドを記憶部１９に記憶されているコマンドマーク対応テーブル１９２から読み出し、当該読み出されたコマンドを撮影画像について実行する。
認識されたコマンドマークが「自動投稿」マークであった場合には、ＣＰＵ１１は、無線通信部１６を制御して、撮影画像を所定の共有ストレージに送信する。
認識されたコマンドマークが「クリッピング」マークであった場合には、ＣＰＵ１１は、撮影画像から記録媒体４０に記録された線で囲まれた領域を切り出し、無線通信部１６を制御して、切り出された領域を所定の共有ストレージに送信する。

ＣＰＵ１１は、撮影画像に、当該撮影画像から認識されたマークの種類を示すタグを付与し、タグ毎に撮影画像を管理する。

次に、情報処理装置１における動作について説明する。
図８は、情報処理装置１において実行されるマーク認識処理を示すフローチャートである。この処理は、ＣＰＵ１１とＲＯＭ１８に記憶されているマーク認識処理プログラム１８１との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、所定のタイミングであるか否かを判断する（ステップＳ１）。第１の実施の形態では、ＣＰＵ１１は、開閉角度センサ２０により出力された第１のカバー３０ａと第２のカバー３０ｂとのなす角度に基づいて、開閉角度が所定の角度（例えば、７０°等）以下であるか否かを判断する。すなわち、ＣＰＵ１１は、バインダ３０を構成する第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたか否かを判断する。所定のタイミングでない場合には（ステップＳ１；ＮＯ）、ステップＳ１に戻る。

ステップＳ１において、所定のタイミングである場合（ステップＳ１；ＹＥＳ）、すなわち、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられた場合には、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成された撮影画像を取得する（ステップＳ２）。例えば、ＣＰＵ１１は、撮影画像から記録媒体４０の領域を抽出し、抽出した領域に対して台形歪みを補正する処理等を行う。また、ＣＰＵ１１は、撮影画像の画像データを記憶部１９の撮影画像データベース１９３に記憶させるとともに、計時部２１から現在日時を取得し、取得した現在日時を作成日時として、撮影画像の画像データと対応付けて撮影画像データベース１９３に記憶させる。

次に、ＣＰＵ１１は、撮影画像の画像データを解析し、撮影画像の全領域について所定のマークが記録されているかを検索する（ステップＳ３）。具体的には、ＣＰＵ１１は、記憶部１９に記憶されている分類用マーク対応テーブル１９１、コマンドマーク対応テーブル１９２を参照して、撮影画像からマークを認識する。

次に、ＣＰＵ１１は、処理していないマークがあるか否かを判断する（ステップＳ４）。処理していないマークがある場合には（ステップＳ４；ＹＥＳ）、ＣＰＵ１１は、撮影画像に、当該撮影画像から認識されたマークの種類を示すタグを付与する（ステップＳ５）。具体的には、ＣＰＵ１１は、この撮影画像に記録されているマークに対応するタグ（アイデア、決定事項、やる事、自動投稿、クリッピング等）を、撮影画像の画像データと対応付けて撮影画像データベース１９３に記憶させる。

次に、ＣＰＵ１１は、撮影画像において認識されたマークがコマンドマークであるか否かを判断する（ステップＳ６）。認識されたマークがコマンドマークでない場合（ステップＳ６；ＮＯ）、すなわち、認識されたマークが分類用マークである場合には、ＣＰＵ１１は、撮影画像からマークに対応する領域を切り出す（ステップＳ７）。マークに対応する領域は、マーク付近の線で囲まれた領域であってもよいし、マーク付近の空行で挟まれた範囲の領域であってもよい。

次に、ＣＰＵ１１は、切り出された領域をマークの種類毎のリストに追加する（ステップＳ８）。具体的には、ＣＰＵ１１は、切り出し領域の画像データを、マークに対応する分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・（例えば、「アイデア」マークの場合には、分類リスト１９４ａ）に記憶させるとともに、切り出し領域の元画像（１ページ分の撮影画像）を示す情報及び切り出し領域の座標データを、切り出し領域の画像データと対応付けて分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・に記憶させる。

ステップＳ６において、認識されたマークがコマンドマークである場合には（ステップＳ６；ＹＥＳ）、ＣＰＵ１１は、記憶部１９に記憶されているコマンドマーク対応テーブル１９２を参照して、マークに対応付けられたコマンドを読み出し（ステップＳ９）、読み出されたコマンドを撮影画像について実行する（ステップＳ１０）。

ステップＳ８又はステップＳ１０の後、ステップＳ４に戻り、処理が繰り返される。
ステップＳ４において、撮影画像に記録されている全てのマークについて処理が終了した場合には（ステップＳ４；ＮＯ）、マーク認識処理が終了する。

図９に、手書き文字及びマークが記録された記録媒体４０を撮影して得られた撮影画像４１の例を示す。撮影画像４１中のマークＭ１は、線で囲まれた領域Ａ１を「アイデア」に分類するために記録されたものである。撮影画像４１中のマークＭ２は、線で囲まれた領域Ａ２を「アイデア」に分類するために記録されたものである。撮影画像４１中のマークＭ３は、線で囲まれた領域Ａ３を「決定事項」に分類するために記録されたものである。

図９に示す例の場合、撮影画像データベース１９３に、撮影画像４１（１ページ分）の画像データと、「アイデア」及び「決定事項」というタグと、撮影画像４１の作成日時と、が対応付けられて格納される。また、「アイデア」に対応する分類リスト１９４ａの「切り出し領域」に領域Ａ１の画像データが格納されるとともに、領域Ａ１の画像データと対応付けられて、「元画像」には撮影画像４１を示す情報が格納され、「領域座標データ」には撮影画像４１から切り出された領域Ａ１の座標データが格納される。同様に、「アイデア」に対応する分類リスト１９４ａの「切り出し領域」に領域Ａ２の画像データが格納されるとともに、領域Ａ２の画像データと対応付けられて、「元画像」には撮影画像４１を示す情報が格納され、「領域座標データ」には撮影画像４１から切り出された領域Ａ２の座標データが格納される。また、「決定事項」に対応する分類リスト１９４ｂの「切り出し領域」に領域Ａ３の画像データが格納されるとともに、領域Ａ３の画像データと対応付けられて、「元画像」には撮影画像４１を示す情報が格納され、「領域座標データ」には撮影画像４１から切り出された領域Ａ３の座標データが格納される。

次に、図１０を参照して、情報処理装置１において実行されるタグ別検索処理について説明する。タグ別検索処理は、マーク認識処理のステップＳ５において付与されたタグ毎に、撮影画像を管理する処理の一例である。

まず、ユーザのタッチパネル１４ｂからの操作により、検索対象となる日付、タグが選択される（ステップＳ１１）。
次に、ＣＰＵ１１は、記憶部１９に記憶されている撮影画像データベース１９３の作成日時及びタグに基づいて、選択された日付、タグに該当する撮影画像の画像データを抽出する（ステップＳ１２）。
次に、ＣＰＵ１１は、抽出された撮影画像の画像データに基づいて、検索条件に合う撮影画像を表示パネル１４ａに表示させる（ステップＳ１３）。

図１１に、表示パネル１４ａに表示される検索画面１４１の例を示す。例えば、検索画面１４１の日付指定欄１４１ａにおいて日付（３月１４日）が選択され、タグ指定欄１４１ｂにおいてタグ（自動投稿）が選択された状態で、検索ボタンＢ１が押下されると、撮影画像データベース１９３から作成日時が「３月１４日」であって、タグが「自動投稿」である撮影画像が抽出され、抽出された撮影画像が、それぞれ、検索結果表示欄１４１ｃ，１４１ｄ，１４１ｅに表示される。検索結果表示欄１４１ｃ，１４１ｄ，１４１ｅには、撮影画像の上部の領域等、画像の一部が表示される。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示対象となる撮影画像が選択されたか否かを判断する（ステップＳ１４）。表示対象となる撮影画像が選択された場合には（ステップＳ１４；ＹＥＳ）、ＣＰＵ１１は、選択された撮影画像を表示パネル１４ａに表示させる（ステップＳ１５）。
例えば、図１１に示す検索画面１４１において、検索結果表示欄１４１ｃ，１４１ｄ，１４１ｅに検索結果として表示されている撮影画像（の一部）のうち、いずれかの撮影画像が選択された場合には、選択された撮影画像の１ページ分が表示される。

ステップＳ１４において、表示対象となる撮影画像が選択されない場合には（ステップＳ１４；ＮＯ）、そのままタグ別検索処理が終了する。

次に、図１２を参照して、情報処理装置１において実行されるリスト表示処理について説明する。リスト表示処理は、記憶部１９に記憶されている分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・に基づいて、マークの種類毎に撮影画像から切り出された領域をリスト化する処理である。

まず、ＣＰＵ１１は、分類用マーク（アイデア、決定事項、やる事等）毎に、対応する分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・に含まれる切り出し領域の画像データを取得する（ステップＳ２１）。例えば、「アイデア」マークについては、分類リスト１９４ａに含まれる切り出し領域の画像データを取得する。ＣＰＵ１１は、取得した切り出し領域の画像データをＲＡＭ１７に格納する。

次に、ＣＰＵ１１は、分類用マーク毎に、取得された切り出し領域の画像データに基づいて、切り出し領域のリストを表示パネル１４ａに表示させる（ステップＳ２２）。

図１３に、表示パネル１４ａに表示されるアイデアリスト画面１４２、決定事項リスト画面１４３、やる事リスト画面１４４の例を示す。アイデアリスト画面１４２のリスト表示欄１４２ａ，１４２ｂには、それぞれ、図９に示す撮影画像４１から切り出された領域Ａ１，Ａ２が表示されている。図１３の例では、図９において領域Ａ１，Ａ２に含まれていたマークＭ１，Ｍ２を除いた領域が表示されているが、マークＭ１，Ｍ２を含む切り出し領域を表示することとしてもよい。また、予めマークＭ１，Ｍ２を除いた領域を保存することとしてもよい。

次に、ＣＰＵ１１は、ユーザのタッチパネル１４ｂからの操作により、表示対象となる切り出し領域が選択されたか否かを判断する（ステップＳ２３）。表示対象となる切り出し領域が選択された場合には（ステップＳ２３；ＹＥＳ）、ＣＰＵ１１は、選択された切り出し領域が含まれる撮影画像を表示パネル１４ａに表示させる（ステップＳ２４）。具体的には、ＣＰＵ１１は、分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・において、選択された切り出し領域に対応付けられている元画像を参照することにより、切り出し領域が含まれる撮影画像を特定する。そして、ＣＰＵ１１は、特定された撮影画像の画像データを記憶部１９に記憶されている撮影画像データベース１９３から読み出し、この撮影画像の画像データに基づいて、撮影画像を表示パネル１４ａに表示させる。

例えば、図１３に示すアイデアリスト画面１４２において、リスト表示欄１４２ａ，１４２ｂ，・・・に表示されている切り出し領域のうち、いずれかの切り出し領域が選択された場合には、選択された切り出し領域が含まれる撮影画像の１ページ分が表示される。

ステップＳ２３において、表示対象となる切り出し領域が選択されない場合には（ステップＳ２３；ＮＯ）、そのままリスト表示処理が終了する。

次に、図１４を参照して、情報処理装置１において実行される自動投稿処理について説明する。自動投稿処理は、認識されたマークが「自動投稿」を意味するコマンドマークであった場合の、マーク認識処理のステップＳ１０に相当する処理である。

まず、ＣＰＵ１１は、記憶部１９から「自動投稿」マークに対応する送信先を読み出す（ステップＳ３１）。
次に、ＣＰＵ１１は、読み出した送信先に基づいて、無線通信部１６を制御して、撮像部１５により生成された撮影画像を所定の共有ストレージに送信する（ステップＳ３２）。
以上で、自動投稿処理が終了する。

共有ストレージでは、情報処理装置１から送信された撮影画像を保存して管理する。撮影画像が共有ストレージに保存された後は、登録された他のメンバーからも自動投稿された撮影画像が閲覧可能となる。

次に、図１５を参照して、情報処理装置１において実行されるクリッピング処理について説明する。クリッピング処理は、認識されたマークが「クリッピング」を意味するコマンドマークであった場合の、マーク認識処理のステップＳ１０に相当する処理である。

まず、ＣＰＵ１１は、認識された「クリッピング」マークに基づいて、原稿の向きを決定する（ステップＳ４１）。具体的には、ＣＰＵ１１は、図５のコマンドマーク対応テーブル１９２に示した「クリッピング」マークの上側が、原稿の上側に対応しているものと判断する。

次に、ＣＰＵ１１は、撮影画像からマークに対応する領域、具体的には、マーク付近の線で囲まれた領域を切り出す（ステップＳ４２）。

次に、ＣＰＵ１１は、記憶部１９から「クリッピング」マークに対応する送信先を読み出す（ステップＳ４３）。
次に、ＣＰＵ１１は、読み出した送信先に基づいて、無線通信部１６を制御して、ステップＳ４２において切り出された領域を所定の共有ストレージに送信する（ステップＳ４４）。
以上で、クリッピング処理が終了する。

図１６に、「クリッピング」を意味するコマンドマークが記録された記録媒体４０を撮影して得られた撮影画像４２の例を示す。撮影画像４２中のマークＭ４は、線で囲まれた領域Ａ４をクリッピングするために記録されたものである。撮影画像４２から切り出された領域Ａ４の画像データが、所定の共有ストレージに送信される。

共有ストレージでは、情報処理装置１から送信された切り出し領域を保存して管理する。切り出し領域が共有ストレージに保存された後は、登録された他のメンバーからも切り出し領域が閲覧可能となる。
なお、「クリッピング」マークが記録される記録媒体４０としては、手書きメモに限らず、予め印刷されている資料等であってもよい。

以上説明したように、第１の実施の形態の情報処理装置１によれば、撮影画像から認識されたマークに応じた所定の処理を実行するので、記録媒体４０に記録された内容を有効に活用することができる。
また、撮影画像の全領域について所定のマークが記録されているかを検索するので、ユーザは記録媒体４０の任意の領域にマークを記録することができる。

また、撮影画像に、当該撮影画像から認識されたマークの種類を示すタグを付与することにより、タグ毎に撮影画像の検索が可能となる等、撮影画像の管理が容易になる。

また、認識されたマークが分類用マークであった場合には、撮影画像から認識されたマークに対応する領域を切り出し、切り出された領域をマークの種類毎に分類して記憶部１９の分類リスト１９４ａ，１９４ｂ，１９４ｃ，・・・に記憶させるので、記録媒体４０に記録された内容を自動で分類することができる。これにより、マークの種類毎に切り出し領域を抽出したり、検索したりすることが容易になる。
また、切り出し領域をマークの種類毎にリスト化して表示パネル１４ａに表示するので、マークの種類毎に記録媒体４０に記録された内容を確認しやすくなる。

また、認識されたマークがコマンドマークであった場合には、マークに対応付けられたコマンドを実行するので、ユーザが直接指示する必要がなく、容易にコマンドに対応する処理を行うことができる。
例えば、「自動投稿」マークに基づいて、撮影画像を所定の共有ストレージに送信するので、ユーザが投稿処理を指示したり、送信先を指定したりする等の手間がかからない。
また、「クリッピング」マークに基づいて、線で囲まれた領域を切り出し、切り出された領域を所定の共有ストレージに送信するので、ユーザがクリッピング処理を指示したり、送信先を指定したりする等の手間がかからない。

また、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことが検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。

なお、第１のカバー３０ａと第２のカバー３０ｂの開閉角度の検出方法は、上記の方法に限定されない。例えば、第１のカバー３０ａの所定の位置に指標を付しておき、撮像部１５により取り込まれた画像内の指標の位置に基づいて、第１のカバー３０ａと第２のカバー３０ｂとが所定の状態まで閉じられたことを検出することとしてもよい。また、第２のカバー３０ｂ内に加速度センサを設け、加速度センサにより重力の方向を検出して、第１のカバー３０ａと第２のカバー３０ｂの開閉角度を検出することとしてもよい。

〔第２の実施の形態〕
次に、本発明を適用した第２の実施の形態について説明する。
図１７（ａ）は、第２の実施の形態における情報処理装置１Ａが本体カバー５０に収納されている状態を示す図であり、図１７（ｂ）及び（ｃ）は、情報処理装置１Ａが本体カバー５０に立て掛けられた状態を示す図である。情報処理装置１Ａにおいて、第１の実施の形態に示した情報処理装置１と同様の構成については、同一の符号を付し、説明を省略する。

図１８は、情報処理装置１Ａが本体カバー５０に立て掛けられ、情報処理装置１Ａの前に記録媒体４０が置かれた状態を示す図である。第２の実施の形態では、記録媒体４０は複数のページからなる冊子状に構成されており、記録媒体４０のページをめくるタイミングで、撮像部１５により記録媒体４０が撮影される。情報処理装置１Ａの下端と記録媒体４０の上端とを合わせるように記録媒体４０を置くと、撮像部１５の画角及びピントが記録媒体４０に合うように予め設定されている。

情報処理装置１Ａは、第１の実施の形態に示した情報処理装置１との比較において、開閉角度センサ２０及びバインダ３０が不要である点が異なるが、その他の構成については情報処理装置１と同様であるため、図３を援用し、説明を省略する。以下、第２の実施の形態に特徴的な構成及び処理について説明する。

ＣＰＵ１１は、撮像部１５により連続的に撮影される動画像データを取り込み、この動画像データを解析することにより、撮影されている記録媒体４０のページめくり動作を検出する。撮像部１５から出力される画像データが変化しつつある間は、記録媒体４０の各ページやユーザの指等が移動中であると推測される。ＣＰＵ１１は、撮像部１５により撮影された動画像データを取り込み続け、画像が静止した場合に、ページめくり動作が行われたと判断する。
ＣＰＵ１１は、記録媒体４０のページめくり動作が検出されたタイミングで、撮像部１５に撮影を行わせる。

情報処理装置１Ａにおいて実行されるマーク認識処理は、第１の実施の形態と撮影を行うタイミングが異なるのみで、それ以外の処理については、図８に示したマーク認識処理と同様であるため、図８を援用して説明する。第２の実施の形態では、ＣＰＵ１１は、ステップＳ１において、撮像部１５から連続的に取り込まれた動画像データに基づいて、手書きメモ（記録媒体４０）のページめくり動作を検出したか否かを判断する。

手書きメモのページめくり動作を検出した場合には（ステップＳ１；ＹＥＳ）、ＣＰＵ１１は、撮像部１５を制御して、記録媒体４０に記録された手書きメモの撮影を行わせ、撮像部１５により生成されたメモ画像（静止画像）を取得する（ステップＳ２）。
ステップＳ３以降の処理は、第１の実施の形態と同様であるため、説明を省略する。

また、タグ別検索処理（図１０参照）、リスト表示処理（図１２参照）、自動投稿処理（図１４参照）、クリッピング処理（図１５参照）についても、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態の情報処理装置１Ａによれば、第１の実施の形態と同様の効果に加え、記録媒体４０のページめくり動作が検出されたタイミングで撮影を行うので、容易に撮影を行うことができる。

なお、ページめくり動作の検出方法は、上記の方法に限定されない。例えば、予め記録媒体４０の各ページの所定の位置に、ページを特定するためのページ特定用マークを付しておき、取り込んだ画像内の所定の位置からページ特定用マークが検出された場合に、ページめくり動作が行われたと判断することとしてもよい。

なお、上記各実施の形態における記述は、本発明に係る情報処理装置の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

例えば、記録媒体４０に記録されるマークは、上記の例に限定されない。分類用マークについては、対応する分類項目とともに分類用マーク対応テーブル１９１に追加可能である。また、コマンドマークついては、対応するコマンドとともにコマンドマーク対応テーブル１９２に追加可能である。

また、自動投稿処理（図１４参照）やクリッピング処理（図１５参照）では、マークに対応する送信先を記憶部１９から読み出して、自動的に予め設定された送信先に撮影画像や切り出し領域を送信することとしたが、送信前に送信先を設定するための設定画面を表示させ、ユーザが送信先を選択することとしてもよい。

以上の説明では、各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
記録媒体を撮影して撮影画像を生成する撮像手段と、
前記撮像手段により生成された撮影画像の全領域について所定の手書きマークが記録されているかを検索する検索手段と、
当該検索により認識された手書きマークに応じた所定の処理を実行する実行手段と、
を備える情報処理装置。
＜請求項２＞
前記記録媒体が配置される第１の筐体と、
ヒンジ部により前記第１の筐体と開閉可能に連結され、本体部が設けられた第２の筐体と、
前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
を備え、
前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、
前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段を備える、
請求項１に記載の情報処理装置。
＜請求項３＞
前記記録媒体は複数のページからなる冊子状に構成されており、
前記記録媒体のページめくり動作を検出する検出手段と、
前記検出手段により前記記録媒体のページめくり動作が検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
を備える、
請求項１に記載の情報処理装置。
＜請求項４＞
前記撮影画像に前記認識された手書きマークの種類を示すタグを付与し、タグ毎に前記撮影画像を管理する管理手段を備える、
請求項１〜３のいずれか一項に記載の情報処理装置。
＜請求項５＞
前記実行手段は、
前記撮影画像から前記認識された手書きマークに対応する領域を切り出す切り出し手段と、
当該切り出された領域を手書きマークの種類毎に分類して記憶手段に記憶させる記憶制御手段と、
を備える、
請求項１〜４のいずれか一項に記載の情報処理装置。
＜請求項６＞
前記記憶手段に記憶されている前記切り出された領域を前記手書きマークの種類毎にリスト化して表示手段に表示させる表示制御手段を備える、
請求項５に記載の情報処理装置。
＜請求項７＞
手書きマークの種類毎に当該手書きマークが意味するコマンドを対応付けて記憶する記憶手段を備え、
前記実行手段は、
前記認識された手書きマークに対応付けられたコマンドを前記記憶手段から読み出す読み出し手段と、
当該読み出されたコマンドを前記撮影画像について実行するコマンド実行手段と、
を備える、
請求項１〜４のいずれか一項に記載の情報処理装置。
＜請求項８＞
前記コマンド実行手段は、前記撮影画像を所定の共有ストレージに送信する送信制御手段を備える、
請求項７に記載の情報処理装置。
＜請求項９＞
前記コマンド実行手段は、
前記撮影画像から前記記録媒体に記録された線で囲まれた領域を切り出す切り出し手段と、
当該切り出された領域を所定の共有ストレージに送信する送信制御手段と、
を備える、
請求項７に記載の情報処理装置。
＜請求項１０＞
コンピュータを、
記録媒体を撮影して撮影画像を生成する撮像手段により生成された撮影画像の全領域について所定の手書きマークが記録されているかを検索する検索手段、
当該検索により認識された手書きマークに応じた所定の処理を実行する実行手段、
として機能させるためのプログラム。

１ 情報処理装置
１Ａ 情報処理装置
１０ 本体部
１１ ＣＰＵ
１２ 電源部
１３ 操作部
１４ タッチ表示部
１４ａ 表示パネル
１４ｂ タッチパネル
１５ 撮像部
１６ 無線通信部
１７ ＲＡＭ
１８ ＲＯＭ
１９ 記憶部
２０ 開閉角度センサ
２１ 計時部
３０ バインダ
３０ａ 第１のカバー
３０ｂ 第２のカバー
３０ｃ ヒンジ部
４０ 記録媒体
５０ 本体カバー
１８１ マーク認識処理プログラム
１９１ 分類用マーク対応テーブル
１９２ コマンドマーク対応テーブル
１９３ 撮影画像データベース
１９４ａ，１９４ｂ，１９４ｃ，・・・ 分類リスト

本発明は、画像処理装置及びプログラムに関する。

本発明は、撮像画像に対するマーク認識でその撮像画像を有効に活用することを課題とする。

請求項１は、撮像画像を処理する画像処理装置であって、撮像画像を認識する認識手段と、前記認識手段により前記撮像画像内で所定マークを認識した場合には、その所定マークの向きに基づいて画像の向きを決定する決定手段と、前記撮像画像を前記決定手段で決定された向きの画像として処理するよう制御する制御手段と、を具備したことを特徴とする。
請求項６は、撮像画像を処理する画像処理装置であって、撮像画像を認識する認識手段と、前記認識手段により前記撮像画像内で所定マークを認識した場合には、前記撮像画像の内で当該所定マークの位置に該当する領域の部分画像を特定する特定手段と、前記撮像画像の中から前記特定手段で特定された部分画像を、その所定マークに対応して予め決められた送信先に対して送信するよう制御する制御手段と、を具備したことを特徴とする。
請求項８は、撮像画像を処理する画像処理装置であって、撮像画像を認識する認識手段と、前記認識手段による認識で所定マークを認識した場合には、その所定マークが複数種類の特定マークの内の何れの種類の特定マークかを判別する判別手段と、前記判別手段で判別された特定マークの種類に対応して予め決められていた送信先を決定し、その決定された送信先に対して前記撮像画像を送信するよう制御する制御手段と、を具備したことを特徴とする。

本発明によれば、撮像画像に対するマーク認識でその撮像画像を有効に活用することができる。

Claims (10)

1. 記録媒体を撮影して撮影画像を生成する撮像手段と、
   前記撮像手段により生成された撮影画像の全領域について所定の手書きマークが記録されているかを検索する検索手段と、
   当該検索により認識された手書きマークに応じた所定の処理を実行する実行手段と、
   を備える情報処理装置。
2. 前記記録媒体が配置される第１の筐体と、
   ヒンジ部により前記第１の筐体と開閉可能に連結され、本体部が設けられた第２の筐体と、
   前記第１の筐体と前記第２の筐体とが所定の状態まで閉じられたことを検出する検出手段と、
   を備え、
   前記撮像手段は、前記本体部の前記第１の筐体に対向する位置に設けられており、
   前記検出手段により前記第１の筐体と前記第２の筐体とが前記所定の状態まで閉じられたことが検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段を備える、
   請求項１に記載の情報処理装置。
3. 前記記録媒体は複数のページからなる冊子状に構成されており、
   前記記録媒体のページめくり動作を検出する検出手段と、
   前記検出手段により前記記録媒体のページめくり動作が検出されたタイミングで前記撮像手段に撮影を行わせる撮影制御手段と、
   を備える、
   請求項１に記載の情報処理装置。
4. 前記撮影画像に前記認識された手書きマークの種類を示すタグを付与し、タグ毎に前記撮影画像を管理する管理手段を備える、
   請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記実行手段は、
   前記撮影画像から前記認識された手書きマークに対応する領域を切り出す切り出し手段と、
   当該切り出された領域を手書きマークの種類毎に分類して記憶手段に記憶させる記憶制御手段と、
   を備える、
   請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記記憶手段に記憶されている前記切り出された領域を前記手書きマークの種類毎にリスト化して表示手段に表示させる表示制御手段を備える、
   請求項５に記載の情報処理装置。
7. 手書きマークの種類毎に当該手書きマークが意味するコマンドを対応付けて記憶する記憶手段を備え、
   前記実行手段は、
   前記認識された手書きマークに対応付けられたコマンドを前記記憶手段から読み出す読み出し手段と、
   当該読み出されたコマンドを前記撮影画像について実行するコマンド実行手段と、
   を備える、
   請求項１〜４のいずれか一項に記載の情報処理装置。
8. 前記コマンド実行手段は、前記撮影画像を所定の共有ストレージに送信する送信制御手段を備える、
   請求項７に記載の情報処理装置。
9. 前記コマンド実行手段は、
   前記撮影画像から前記記録媒体に記録された線で囲まれた領域を切り出す切り出し手段と、
   当該切り出された領域を所定の共有ストレージに送信する送信制御手段と、
   を備える、
   請求項７に記載の情報処理装置。
10. コンピュータを、
    記録媒体を撮影して撮影画像を生成する撮像手段により生成された撮影画像の全領域について所定の手書きマークが記録されているかを検索する検索手段、
    当該検索により認識された手書きマークに応じた所定の処理を実行する実行手段、
    として機能させるためのプログラム。

Images