JP2013200803A - 携帯端末、シンボル用シート、補助具、画像処理プログラム、及び画像処理方法 - Google Patents

Abstract

【課題】専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存が容易に可能であり、ドキュメント用紙がデザイン上の制約を受けにくい撮像技術を提供する。
【解決手段】所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える。
【選択図】図１

Description

本発明は、コンパクトデジカメや携帯電話のカメラ機能を用いてドキュメントを撮像する技術に適用して有効な技術である。

コンパクトなデジタルカメラ、携帯電話やスマートフォンに搭載されたデジタルカメラは、数百万画素以上の高精度撮影が可能になってきており、風景や人物等の撮影のみならず、紙製のドキュメント、メモや名刺等を撮影するために用いられることが多くなってきている。

代表的なスマートフォンであるアップル社のｉＰｈｏｎｅ（アップル社が許諾を受けたアイホン社の登録商標）等に搭載されたカメラで撮影した紙媒体の表面画像を読み込んで、当該紙媒体の所定位置に設けられたシンボルコードを検出して、当該シンボルコードを基準に算出された所定領域にある画像データのみを切り出して切出画像データとして取得してこれを保存することができる画像処理システムが知られている（特許文献１）。

特許第４９０４４２６号公報

上記特許文献１は、例えばドキュメントの特定の位置に印刷されたシンボルマークを撮像手段が認識して当該シンボルマークに囲まれた領域の画像を取り込んで保存する。そのため、シンボルマークに囲まれた領域に自由に描かれたものを容易に画像データとして保存できるものの、これを実現するには専用のドキュメント用紙が必要となる。

また、専用のドキュメント用紙は、シンボルマークが印刷されているため、利用者が画像を取り込むために描画することが出来る領域が当該シンボルマークの内側に限られていた。また、シンボルマークが印刷されているため、デザイン上の制約を受けていた。

本発明はこのような点に鑑みてなされたものであり、専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存が容易に可能であり、ドキュメント用紙がデザイン上の制約を受けにくい撮像技術を提供することを課題とする。

本発明は、前記課題を解決するために、以下の手段を採用した。

本発明は、所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末である。

本発明では、所定のシンボルが、撮像対象物ではなく、シンボル用シートに存在しており、所定のシンボルとしてのシンボル用シートが付された撮像対象物を撮像することで、
所定領域を画像取得領域として認識することができる。認識した画像取得領域にある画像は、画像データとして保存することができる。そのため、予めシンボルが付された専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存を容易に行うことができる。また、撮像対象物自体には予めシンボルを付す必要がないことから、撮像対象物のデザイン性が向上する。換言すると、本発明によれば、ドキュメント用紙がデザイン上の制約を受けにくい撮像技術を提供することができる。シンボル用シートは、テープ状のシート全体が所定のシンボルとして機能するものでもよく、シートが所定のシンボルに模られたものでもよく、また、透明なシート状の基材に所定のシンボルが付されたものでもよい。なお、携帯端末は、携帯端末とネットワークを介して接続されたサーバの記憶装置に、画像データを送信する送信手段を更に備える構成としてもよい。

ここで、前記所定のシンボルは、前記撮像対象物の所定の領域に存在する光学パターンとは異なる光学パターンで形成することができる。所定の領域に存在する光学パターンとは、例えば、撮像対象物の表面（撮像側の面）に、利用者によって付された、線、文字、記号、図形などである。所定のシンボルを撮像対象物の所定の領域に存在する光学パターンとは異なる光学パターンで形成することで、シンボル用シートが付された撮像対象物をカメラで撮像した際、中央処理装置が、所定のシンボルと所定の領域に存在する光学パターンとを識別することが可能となる。所定のシンボルは、線、文字、記号、図形によって構成することができ、その態様は特に限定されない。なお、算出された所定領域は、所定のシンボルを基準に確定される領域であり、撮像対象物の所定の領域は、利用者によって文字などの光学パターンが付される任意の領域であり、両者は区別される。

また、中央処理装置がシンボル用シートをより確実に識別できるよう、シンボル用シートの表面（撮像側の面）の光学パターンと、撮像対象物の表面の光学パターンは異なるようにしてもよい。これにより、シンボル用シート自体の検出が容易となるので、所定のシンボルと撮像対象物の所定の領域に存在する光学パターンとの識別も更に容易になる。

また、撮像対象物の色とシンボル用シートとが異なる色で形成されており、利用者が撮像対象物を撮像する前に撮像対象物とシンボル用シートのそれぞれの色を中央処理装置に指示（設定）して、中央処理装置がそれぞれの色を検出して、画像取得領域を認識するようにしてもよい。本発明は、異なる光学パターンの態様の一例であるが、「色」を変えることで、シンボル用シートの検出が容易となる。

ここで、本発明は、所定のシンボルが利用者により付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、備え、前記所定のシンボルは、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである、携帯端末として特定することもできる。

本発明によっても、所定のシンボルが付された撮像対象物を撮像することで、所定領域を画像取得領域として認識し、認識した画像取得領域にある画像を画像データとして保存することができる。そのため、予めシンボルが付された専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存を容易に行うことができる。また、撮像対象物自体には予めシンボルを付す必要がなく、所定のシンボルが通常の可視光線下においてヒトの目では認識することが不可能な光学パターンによって形成されていることから、撮像対象物のデザイン性を向上することができる。

例えば、前記所定のシンボルは、特定の波長の光が照射されると前記カメラで認識することが可能な光を発する光学パターンとすることができる。このような光学パターンとしては、特定の波長の光を照射すると発光する蛍光体を含む光学パターンが例示される。この場合、本発明に係る携帯端末は、特定の波長の光を照射する光源と共に用いることが好ましい。この光源は、携帯端末に内蔵してもよく、携帯端末と別構成としてもよい。また、本発明に係る携帯端末に対して、光の波長を変更するフィルタを取り付けてもよい。例えば、可視光線をカットするフィルタを用いることで、カメラによる認識が更に確実になる。

ここで、前記中央処理装置は、前記原画像から前記所定のシンボルを検出し、前記撮像対象物において前記所定のシンボルに囲まれた領域を画像取得領域として認識するようにしてもよい。これにより、所定のシンボルに囲まれた領域に自由に描かれたものを容易に画像データとして保存できる。

また、前記所定のシンボルは、線像により形成され、前記中央処理装置は、前記線像により囲まれた領域を前記画像取得領域と認識するようにしてもよい。線像は所定のシンボルの一態様である。線像は、点線のように、非連続性の線によって構成されるものでもよい。

また、前記所定のシンボルは、点又は特定の図形により形成されるロケータであり、前記中央処理装置は、前記撮像対象物に付された前記ロケータを複数検出すると、検出したロケータを頂点とする図形により囲まれた領域を前記画像取得領域と認識するようにしてもよい。ロケータも所定のシンボルの一態様である。ロケータは、図形、記号、文字などにより構成することができる。

ここで、本発明は、撮像対象物に所定のシンボルを付す一態様として、シンボル用シートとして特定することができる。すなわち、本発明は、所定のシンボルが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末と共に用いるシンボル用シートであって、前記撮像対象物に付され、少なくとも撮像面側に前記所定のシンボルを有する。

撮像対象物にシンボル用シートを付すことで、専用のドキュメント用紙を用いることなく、所定のシンボルに囲まれた領域に自由に描かれたものを容易に画像データとして保存できる。シンボル用シートは、テープ状のシート全体が所定のシンボルとして機能するものでもよく、シートが所定のシンボルに模られたものでもよく、また、透明なシート状の基材に所定のシンボルが付されたものでもよい。

ここで、本発明は、撮像対象物に所定のシンボルを付す一態様として、所定のシンボルを付すための補助具として特定することができる。すなわち、本発明は、所定のシンボルが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末と共に用いる補助具であって、前記撮像対象物に前記所定のシンボルを付するためのインクを有し、前記インクは、利用者により前記撮像対象物に付されると、通常の可視光線下においてヒトが認識できない光学パターンとなる。

補助具により撮像対象物に所定のシンボルを付すことができ、専用のドキュメント用紙を用いることなく、所定のシンボルに囲まれた領域に自由に描かれたものを容易に画像データとして保存できる。

前記インクは、無機蛍光塗料と、赤外線反射塗料とのうち、少なくともいずれか一方を含むようにしてもよい。無機蛍光塗料には、特定の波長の光（紫外線）を照射すると発光する蛍光塗料を含むインクが例示される。また、赤外線反射塗料には、特定の波長の光（赤外線）を照射すると反射する塗料を含むインクが例示される。これらの場合、本発明に係る携帯端末は、特定の波長の光を照射する光源を更に備える構成とすることが好ましい。また、補助具と共に、光の波長を変更するフィルタを用いるようにしてもよい。

また、本発明は、上述した中央処理装置で実行可能なプログラムとして特定することができる。例えば、本発明は、カメラで所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像すると、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理プログラムであって、前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、前記中央処理装置に、前記原画像から前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、前記画像データを前記画像データ保存手段に保存するステップと、を実行させる、画像処理プログラムである。また、例えば、本発明は、カメラで所定のシンボルが利用者により付された撮像対象物を撮像すると、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理プログラムであって、前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、前記中央処理装置に、前記原画像から、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、前記画像データを前記画像データ保存手段に保存するステップと、を実行させる、画像処理プログラムである。

また、本発明は、上述した携帯端末で実行可能な画像処理方法として特定することができる。例えば、本発明は、カメラで所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像すると、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理方法であって、前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、前記中央処理装置が、前記原画像から前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、前記画像データを前記画像データ保存手段に保存するステップと、を実行する、画像処理方法である。また、例えば、本発明は、所定のシンボルが利用者により付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中
央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理方法であって、前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、前記中央処理装置は、前記原画像から、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、前記画像データを前記画像データ保存手段に保存するステップと、を実行する、画像処理方法である。

また、本発明は、上述した携帯端末と、この携帯端末とネットワークを介して接続されるサーバであって、画像データを記憶する記憶装置を有するサーバとを備える画像処理システムとして特定することもできる。画像処理システムには、上述したシンボル用シート、補助具、光源、フィルタのうち、少なくとも何れか一つを含めてもよい。

本発明によれば、専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存が容易に可能であり、ドキュメント用紙がデザイン上の制約を受けにくい撮像技術を提供することができる。

第一実施形態に係る画像処理システムを説明する図を示す。 第一実施形態に係るシンボル用テープを示す。 第一実施形態に係るシンボル用テープの使用状態を説明する図を示す。 第一実施形態に係るカメラ付きスマートフォンの構成図を示す。 第一実施形態に係る画像処理システムをネットワークで利用した場合の説明図を示す。 第一実施形態に係る画像処理システムで実行される画像処理のフローを示す。 第二実施形態に係る画像処理システムを説明する図を示す。 第二実施形態に係る画像処理システムで実行される画像処理のフローを示す。 メモ用紙にロケータを４つ付した例を示す。 第二実施形態に係る画像処理システムで実行される画像処理のフローを示す。 特定された画像取得領域の内側に他の形状を有するロケータが存在する場合を示す。 特定された画像取得領域の内側に他の形状を有するロケータが存在する場合を示す。 他の実施形態に係る、スタンプの概略構成を示す。

以下に、図面を参照して本発明の実施形態として、携帯端末としてのスマートフォン（ＭＰ）、シンボル用テープ１、補助具としての筆記具２を含む画像処理システムを例に説明する。なお、以下の実施形態の構成は例示であり、本発明はこの実施の形態の構成に限定されるものではない。

＜第一実施形態＞
図１は、第一実施形態に係る画像処理システムを説明する図を示す。第一実施形態に係る画像処理システムは、携帯端末としてのカメラ付きスマートフォン（ＭＰ）、メモ用紙（撮像対象物）（ＤＯＣ）に付されるシンボル用テープ１を含む。

＜＜シンボル用テープ＞＞
シンボル用テープ１は、表面の全体がシンボルＭ１であり、裏面には接着層が形成されている。シンボル用テープ１の表面は、メモ用紙（ＤＯＣ）と識別できるよう、全体に亘って着色されている。シンボル用テープ１の表面の色は、メモ用紙（ＤＯＣ）の地色と識別できる色であればよい。シンボル用テープ１の幅は、メモ用紙（ＤＯＣ）に記載される、文字、記号、図形などを構成する線と識別できる太さとすることが好ましい。第一実施形態に係るシンボル用テープ１の幅は、描かれることが想定される文字、記号、図形などを構成する線よりも太くなるよう設計されているが、これに限定されるものではない。裏面の接着層の接着力は、メモ用紙（ＤＯＣ）と分離可能な強度とすることが好ましが、これに限定されるものではない。

第一実施形態に係るシンボル用テープ１は、図２、図３に示すように、ケース１１に収容されている。このケース１１は、その内部に、使用前のシンボル用テープ１ａが巻かれた供給ロール１２、及び使用後のベーステープ１ｂを回収する回収ロール１３を備える。また、ケース１１の外部には、シンボル用テープ１をメモ用紙（ＤＯＣ）に転写するヘッド１４が設けられている。第一実施形態に係る使用前のシンボル用テープ１ａの表面側には、ベーステープ１ｂの裏面側に形成された接着層を介して、ベーステープ１ｂが接着されている。ベーステープ１ｂの接着層の接着力は、シンボル用テープ１の裏面の接着層の接着力よりも弱い。これにより、ヘッド１４をメモ用紙（ＤＯＣ）に押さえつけながらケース１１をメモ用紙（ＤＯＣ）の表面と平行に移動させることで、シンボル用テープ１がメモ用紙（ＤＯＣ）に転写される。その際、シンボル用テープ１の表面に接着されていたベーステープ１ｂは分離し、回収ロール１３に巻き取られる。

なお、第一実施形態に係るシンボル用テープ１は、表面全体が着色されているが、シンボル用テープ１は、その表面にラインや特定の模様が形成されるなど、表面の一部が着色されたもの、すなわち、シンボル用テープ１の一部がシンボルＭ１として機能するものでもよい。また、第一実施形態に係るシンボル用テープ１は、利便性を高めるため、ケース１１に収容され、かつ、供給ロール１２に巻かれているが、必ずしもケース１１に収容されている必要はない。また、必ずしも供給ロール１２などに巻く必要もない。例えばシンボル用テープ１は、短冊状としてもよい。この場合、シンボル用テープ１の裏面には、裏面の接着層を被覆する被覆テープを接続しておくことが好ましい。

＜＜スマートフォン＞＞
図４は、第一実施形態に係るカメラ付きスマートフォン（以下、単にスマートフォンと言う）の構成図を示す。スマートフォン（ＭＰ）は、たとえばアップル社のｉＰｈｏｎｅ（登録商標）、Android携帯（Android：登録商標）である。

スマートフォン（ＭＰ）では、シンボル用テープ１が付されたメモ用紙（ＤＯＣ）がカメラ（ＣＡＭ）で撮像され、カメラ（ＣＡＭ）で撮像された撮像対象物の原画像からシンボルＭ１が検出される。検出されたシンボルＭ１を基準に画像取得領域（ＡＲ：シンボルＭ１で囲まれた領域）が認識され、画像取得領域（ＡＲ）にある画像（例えば、図１では「ＡＢＣＤＥＦ」からなるテキスト）が切り出され、画像データとしてメモリに保存される。

スマートフォン（ＭＰ）の本体には、ホームボタン（ＢＴＮ）が設けられており、ディスプレイ（ＤＩＳＰ）に表示されるアイコンやメニューをホーム画面に復帰させたり、カメラ（ＣＡＭ）のシャッターとして機能させるようになっている。

スマートフォン（ＭＰ）内部は、中央処理装置（ＣＰＵ）を中心にメインメモリ（ＭＭ
）、バス（ＢＵＳ）を介して接続されたメモリユニット（ＭＥＭ）、通信インターフェース（ＴＩＦ）、カメラ（ＣＡＭ）、前述のボタン（ＢＴＮ）、タッチパネル（ＴＰＮ）とディスプレイ（ＤＩＳＰ）が一体化されたタッチパネルディスプレイ、スピーカ（ＳＰＫ）を有している。

通信インターフェース（ＴＩＦ）は、図５に示すように、無線電話回線を通じて基地局（ＢＳ）を経由して汎用のネットワーク（ＮＷ）に接続可能となっている。また、この通信インターフェース（ＴＩＦ）は、無線ＬＡＮのアクセスポイント（ＡＰ）と通信可能となっており、いずれかの通信手段を経由してネットワークへの接続が可能となっている。

メモリユニット（ＭＥＭ）には、オペレーティングシステム（ＯＳ）とともに、画像処理アプリケーションプログラム（ＡＰＬ）、原画像データや文字情報を保持するためのユーザデータエリア（ＵＤＴ）が設けられている。

シンボル用テープ１が付されたメモ用紙（ＤＯＣ）の撮像およびその画像処理は、メモリユニット（ＭＥＭ）の画像処理アプリケーションプログラム（ＡＰＬ）をバス（ＢＵＳ）およびメインメモリ（ＭＭ）を介して中央処理装置（ＣＰＵ）が読み込んで順次実行することによって実現される。

＜＜画像処理＞＞
次に、第一実施形態に係る画像処理システムで実行される画像処理について説明する。図６は、画像フローを示す。画像処理の準備工程として、メモ用紙（ＤＯＣ）に存在する文字、記号などのうち、利用者が画像データとして保存したい領域を囲むように、シンボル用テープ１が付される。

ステップ０１では、ユーザのタッチパネル（ＴＰＮ）のタッチ操作により、本画像処理アプリケーションプログラム（ＡＰＬ）が選択されると、中央処理装置（ＣＰＵ）は、画像処理アプリケーションプログラム（ＡＰＬ）を起動する。これにより、カメラ（ＣＡＭ）の機能が作動状態となり、撮像対象物であるメモ用紙（ＤＯＣ）の撮影が可能となる。画像処理アプリケーションプログラム（ＡＰＬ）が起動されると、ステップ０２へ進む。

ステップ０２では、ユーザの操作により、メモ用紙（ＤＯＣ）が撮像され、中央処理装置（ＣＰＵ）は、撮像画像を原画像データとして、メモリユニット（ＭＥＭ）の所定の領域に一時保存する。メモ用紙が撮像されると、ステップ０３へ進む。

ステップ０３では、中央処理装置（ＣＰＵ）は、原画像データから、シンボルＭ１を検出する。シンボルＭ１の検出は、例えば、シンボルＭ１の条件を予め設定してこれをメモリユニット（ＭＥＭ）に保存しておき、原画像データに含まれる、メモ用紙（ＤＯＣ）の地色、メモ用紙（ＤＯＣ）に描かれた、線、記号、文字などと、設定条件とを比較することで行う。第一実施形態のようにシンボルＭ１がシンボル用テープ１の場合には、設定条件は、例えば「メモ用紙の地色：白、シンボル種別：シンボル用テープ、色／波長：赤、形態：直線、幅：○○ｍｍ」とすることができる。シンボルＭ１が検出された場合、ステップ０４へ進む。一方、シンボルＭ１が検出されなかった場合、ステップ０２へ戻り、再度メモ用紙（ＤＯＣ）が撮像される。

ステップ０４では、中央処理装置（ＣＰＵ）は、シンボルＭ１検出時の原画像データをメモリユニット（ＭＥＭ）に保存する。中央処理装置（ＣＰＵ）は、原画像データを保存する際、原画像データの採用が決定されたとことを通知するため、シャッター音をスピーカ（ＳＰＫ）から出力させてもよい。なお、ステップ０３においてシンボルＭ１を検出しなかった場合でも、ステップ０２で原画像を一時保存する際にシャッター音を発生させて
もよい。原画像データが保存されると、ステップ０５へ進む。

ステップ０５では、中央処理装置（ＣＰＵ）は、検出されたシンボルＭ１で囲まれる部分を画像取得領域（ＡＲ）として認識し、画像取得領域（ＡＲ）にある画像を切り出して画像データとしてメモリユニット（ＭＥＭ）に保存する。なお、シンボルの一部が欠落している場合には、欠落している部分のシンボルを延長して仮想線を設定し、仮想線及びシンボルで囲まれる部分を画像取得領域（ＡＲ）として認識することができる。以上により、画像処理が終了する。

なお、中央処理装置（ＣＰＵ）は、台形補正を行ってもよい。台形補正は、設定条件に応じて行えばよい。台形補正を行う場合、中央処理装置（ＣＰＵ）は、例えば、メモ用紙（ＤＯＣ）のエッジを認識し、斜め方向から撮影しているために台形状態となっているエッジを方形に補正（台形補正）する。台形補正には、既存の技術を適宜用いることができる。

ここで、以上の説明では、スマートフォン（ＭＰ）で全ての処理を行う場合で説明したが、処理の一部をネットワーク（ＮＷ）を介して接続されたサーバ（ＳＶ）に実行させてもよい。

たとえば、カメラ（ＣＡＭ）によりメモ用紙（ＤＯＣ）の撮影を行った後、原画像データを一旦メモリユニット（ＭＥＭ）に保存するとともに、通信インターフェース（ＴＩＦ）およびネットワーク（ＮＷ）を介してサーバ（ＳＶ）に送信する。

前記原画像データを受信したサーバ（ＳＶ）ではサーバに格納した画像処理アプリケーションプログラム（ＡＰＬ）に基づいて、原画像データからシンボルＭ１を検出し、検出されたシンボルＭ１で囲まれる部分を画像取得領域（ＡＲ）として認識し、画像取得領域（ＡＲ）にある画像を切り出して画像データとしてサーバ（ＳＶ）に保存するようにしてもよい。

サーバ（ＳＶ）に保存した画像データは、スマートフォン（ＭＰ）からネットワーク（ＮＷ）を介してアクセスできるようにしてもよい。

＜＜効果＞＞
第一実施形態に係る画像処理システムでは、シンボルＭ１を構成するシンボル用テープ１が撮像対象物としてのメモ用紙（ＤＯＣ）に付され、シンボルＭ１が付されたメモ用紙（ＤＯＣ）を撮像することで、シンボルＭ１で囲まれた領域を画像取得領域（ＡＲ）として認識することができ、認識した画像取得領域（ＡＲ）を画像データとして保存することができる。そのため、予めシンボルが付された専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存を容易に行うことができる。また、メモ用紙（ＤＯＣ）にシンボル用テープ１が付されるものの、このシンボル用テープ１は、撮像後、メモ用紙（ＤＯＣ）から取り除くことができる。メモ用紙（ＤＯＣ）自体には予めシンボルを付す必要はなく、また、撮像後も取り除くことができるため、撮像対象物のデザイン性が向上する。

＜第二実施形態＞
図７は、第二実施形態に係る画像処理システムを説明する図を示す。第二実施形態に係る画像処理ステムは、スマートフォン（ＭＰ）、メモ用紙（ＤＯＣ）にシンボルを付す筆記具２、特定の波長の光を照射する光源３を含む。なお、スマートフォン（ＭＰ）は、第一実施形態で説明したスマートフォン（ＭＰ）と基本的には同じである。スマートフォン（ＭＰ）を含め、第一実施形態と同様の構成については説明を省略し、相違点を中心に説
明する。

＜＜筆記具＞＞
筆記具２は、ペンタイプであり、内部にインキが充填されており、ペン先をメモ用紙（ＤＯＣ）と接触させることで、メモ用紙（ＤＯＣ）に、シンボルとなる線、文字、記号、図形などを自由に描くことができる。また、第二実施形態に係る筆記具２は、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンからなるシンボルを描くことができる。インクには、例えば、ブラックライト（紫外線）を照射すると発光する蛍光体を含むものが例示される。可視光線とは、３８０から８００ｎｍ程度の電磁波であり、ブラックライトは３５０〜３８０ｎｍ程度の電磁波であり、ヒトの目ではほとんど認識することはできない。なお、インクは、上記の他、特定の波長の光（赤外線）を照射すると反射す赤外線反射塗料としてもよい。また、筆記具２と共に、光の波長を変更するフィルタを用いるようにしてもよい。光の波長を変更するフィルタには、可視光線カットフィルタが例示される。なお、インクは、既存のいわゆる不可視インクとしてもよい。不可視インクには、熱を加えることで可視可能となるインク、酸や塩基と接触すると可視可能となるインク、光照射により変色するインクが例示される。

＜＜光源＞＞
光源３は、特定の波長の光を照射するもので、例えばブラックライトを用いることができる。ブラックライトは、上記のように、３５０〜３８０ｎｍ程度の電磁波である。第二実施形態では、光源３が、スマートフォン（ＭＰ）とは別構成となっているが、スマートフォン（ＭＰ）に内蔵させてもよい。なお、熱を加えることで可視可能となるインクを用いる場合、光源３に代えてヒータを用いることができる。また、酸や塩基と接触すること可視可能となるインクを用いる場合、光源３に代えて、可視可能となるための化学反応を起こさせる化学物質を含むインクを用いることができる。

＜＜画像処理＞＞
図８は、第二実施形態に係る画像処理システムで実行される画像処理のフローを示す。第二実施形態に係る画像処理システムで実行される画像処理は、基本的には、先に説明した第一実施形態に係る画像処理システムで実行される画像処理と同じである。以下、相違点を中心に説明する。まず、画像処理の準備工程として、メモ用紙（ＤＯＣ）に存在する文字、記号などのうち、利用者が画像データとして保存したい領域を囲むように、筆記具２により、シンボルＭ２が描かれる。シンボルＭ２を描く際も光源３によりブラックライトを照射することで、軌跡を確認しながらシンボルＭ２を描くことができる。以下では、図７に示すように、利用者が画像データとして保存したい領域を直線で囲んだ場合を例に説明する。

ステップ０１では、画像処理アプリケーションプログラム（ＡＰＬ）が起動される。次に、ステップ０２−１では、メモ用紙（ＤＯＣ）に対して、光源３からブラックライトが照射された状態で、メモ用紙（ＤＯＣ）が撮像される。筆記具２で描かれたシンボルＭ２は通常の可視光線下では確認することができないが、光源３からブラックライトを照射することで、シンボルを確認することができる。また、この状態で撮像することで、シンボルを含む原画像が一時保存される。

次に、ステップ０３では、原画像からシンボルＭ２が検出される。第二実施形態においても、シンボルＭ２の検出は、例えば、シンボルＭ２の条件を予め設定してこれをメモリユニット（ＭＥＭ）に保存しておき、原画像データに含まれる、メモ用紙（ＤＯＣ）の地色、メモ用紙（ＤＯＣ）に描かれた、線、記号、文字などと、設定条件とを比較することで行うことができる。第二実施形態のようにシンボルが筆記具２によって描かれた直線によって構成される枠線の場合には、設定条件は、例えば「メモ用紙（ＤＯＣ）の地色：白
、シンボル種別：筆記具、色／波長：無色（紫外線照射必要）、形態：直線、幅：○○ｍｍ」とすることができる。シンボルＭ２が検出された場合、ステップ０４へ進む。一方、シンボルＭ２が検出されなかった場合、ステップ０２へ戻り、再度メモ用紙（ＤＯＣ）が撮像される。なお、シンボルＭ２の検出は、例えば、撮像をブラックライトの照射前後で行い、ブラックライト照射前後の原画像を比較し、差分を求め、シンボルＭ２を検出するようにしてもよい。

ステップ０４では、シンボル検出時の原画像データがメモリユニット（ＭＥＭ）に保存される。次に、ステップ０５では、検出されたシンボルＭ２で囲まれる部分が画像取得領域（ＡＲ）として認識され、画像取得領域（ＡＲ）にある画像が切り出されて画像データとしてメモリユニット（ＭＥＭ）に保存される。なお、第一実施形態と同じく、シンボルＭ２の一部が欠落している場合には、欠落している部分のシンボルＭ２を延長して仮想線を設定し、仮想線及びシンボルＭ２で囲まれる部分を画像取得領域（ＡＲ）として認識することができる。また、台形補正は、適宜行うことができる。以上により、画像処理が終了する。

＜＜他の画像処理＞＞
次に、第二実施形態の変形例に係る画像処理について説明する。以下では、図９に示すように、筆記具２でシンボルとしての複数のロケータＭ３を描き、中央処理装置（ＣＰＵ）が、検出したロケータＭ３を頂点とする図形により囲まれた領域を画像取得領域（ＡＲ）と認識する場合について説明する。まず、画像処理の準備工程として、メモ用紙（ＤＯＣ）に存在する文字、記号などのうち、利用者が画像データとして保存したい領域の周囲４カ所に、筆記具２により、シンボルとしてのロケータＭ３が描かれる。図９では、メモ用紙の四隅の近傍に枠状のロケータＭ３が描かれる。ロケータＭ３は、これに限らず、円、多角形など他の図形でもよく、また、文字や記号でもよい。更に、ロケータＭ３は、これらを組み合わせたものでもよい。

図１０は、第二実施形態に係る画像処理システムで実行される画像処理のフローを示す。ステップ０１では、画像処理アプリケーションプログラム（ＡＰＬ）が起動される。次に、ステップ０２−１では、メモ用紙（ＤＯＣ）に対して、光源３からブラックライトが照射された状態で、メモ用紙（ＤＯＣ）が撮像され、シンボル（ロケータＭ３）を含む原画像が一時保存される。

次に、ステップ０３−１では、原画像からシンボルとしての複数のロケータＭ３が検出される。第二実施形態の変形例においても、シンボル（ロケータＭ３）の検出は、例えば、シンボル（ロケータＭ３）の条件を予め設定してこれをメモリユニット（ＭＥＭ）に保存しておき、原画像データに含まれる、メモ用紙（ＤＯＣ）の地色、メモ用紙（ＤＯＣ）に描かれた、線、記号、文字などと、設定条件とを比較することで行うことができる。第二実施形態のようにシンボルが筆記具２によって描かれた複数のロケータＭ３の場合には、設定条件は、例えば「メモ用紙の地色：白、シンボル種別：筆記具、色／波長：無色（紫外線照射必要）、形態：ロケータ、ロケータの形状：枠状、ロケータ数：４つ、画像取得領域（ＡＲ）の形状：四角形」とすることができる。複数のロケータＭ３が全て検出された場合、ステップ０４へ進む。一方、複数のロケータＭ３が全て検出されなかった場合、ステップ０２−１へ戻り、再度メモ用紙（ＤＯＣ）が撮像される。

なお、設定条件として、画像取得領域（ＡＲ）の形状が四角形である場合、仮にロケータＭ３が２つしか検出できなかった場合でも、対角にある２つのロケータＭ３が検出されれば、他のロケータＭ３の位置は推定することができる。したがって、設定条件により、検出の条件を変更してもよい。また、複数のロケータＭ３の検出は、例えば、撮像をブラックライトの照射前後で行い、ブラックライト照射前後の原画像を比較し、差分を求め、
複数のロケータを検出するようにしてもよい。

ステップ０４では、シンボル検出時の原画像データがメモリユニット（ＭＥＭ）に保存される。次に、ステップ０５−１では、中央処理装置（ＣＰＵ）は、検出された４つのロケータＭ３を頂点とする四角形の領域を画像取得領域（ＡＲ）として認識し、画像取得領域（ＡＲ）にある画像を切り出して画像データとしてメモリユニット（ＭＥＭ）に保存する。各ロケータＭ３の頂点は、ロケータＭ３の中心部としてもよく、各ロケータＭ３の外郭の一部（例えば本変形例では枠の角部）とすることができる。なお、台形補正は、適宜行うことができる。以上により、画像処理が終了する。

なお、変形例では４つのロケータＭ３を同形状としたが、例えば４つのロケータＭ３のうちの一つの形状を他のロケータＭ３と異なる形状としてもよい。この場合、異なる形状のロケータを、画像取得領域の方向を特定するためのシンボルとして機能させることができる。

また、画像取得領域（ＡＲ）を特定するためのロケータＭ３以外に、他の形状を有するロケータ（例えば、×印）を別途設けるようにしてもよい。他の形状を有するロケータは、画像取得領域（ＡＲ）の方向を特定するためのシンボルとして機能させることができる。また、他の形状を有するロケータは、特定された画像取得領域（ＡＲ）を解除するためのシンボルとして機能させることができる。他の形状を有するロケータとその機能は予め設定条件を定めておけばよい。例えば、図１１に示すように、特定された画像取得領域（ＡＲ）の内側に他の形状を有するロケータＭ４が存在する場合、中央処理装置（ＣＰＵ）は、特定された画像取得領域（ＡＲ）を解除する。また、例えば、図１２に示すように、特定された画像取得領域（ＡＲ）の外側に他の形状を有するロケータＭ５が存在する場合、中央処理装置（ＣＰＵ）は、他の形状を有するロケータＭ５が存在する側を特定された画像取得領域（ＡＲ）の上側として特定する。

＜＜効果＞＞
以上説明した、第二実施形態に係る画像処理システムでは、筆記具２により、ブラックライトを照射することで発光するインクで描かれたシンボルＭ２、ロケータＭ３が、撮像対象物としてのメモ用紙（ＤＯＣ）に付される。そして、シンボルＭ２、ロケータＭ３が付されたメモ用紙（ＤＯＣ）を撮像することで、シンボルＭ２やロケータＭ３で囲まれた領域を画像取得領域（ＡＲ）として認識することができ、認識した画像取得領域（ＡＲ）を画像データとして保存することができる。そのため、予めシンボルが付された専用のドキュメント用紙を用いずとも利用者による任意の領域に描画した画像データの取得・保存を容易に行うことができる。また、筆記具２で描かれたシンボルＭ２やロケータＭ３は、通常の可視光線下では認識できないため、メモ用紙（ＤＯＣ）のデザイン性が向上する。

また、画像取得領域（ＡＲ）を特定するためのシンボル（ロケータ）とは異なる形状のロケータＭ４、Ｍ５を設け、この異なる形状のロケータＭ４、Ｍ５に、特定された画像取得領域（ＡＲ）の方向決を決定する機能や、特定された画像取得領域（ＡＲ）を解除する機能を持たせることで、利便性が更に向上する。

＜その他の実施形態＞

以上の説明では、メモ用紙（ＤＯＣ）に対して、直接シンボル用シート１を付し、又は直接筆記具２でシンボルＭ２やロケータＭ３を描いたが、例えば、透明のプラスチックシートに対して、シンボル用シート１を付し、又は直接筆記具２でシンボルＭ２やロケータＭ３を描くようにしてもよい。そして、シンボルが付されたプラスチックシートをメモ用紙（ＤＯＣ）の上に被せた状態にして、カメラ（ＣＡＭ）でプラスチックシートを透過さ
せてメモ用紙（ＤＯＣ）の表面を撮像してもよい。

また、上記の説明では撮像対象物は、メモ用紙（ＤＯＣ）として説明したが、Ａ４サイズ程度のレポート用紙、白紙、印刷済みのドキュメントから名刺あるいは名刺サイズのメモ用紙等でもよい。

また、補助具の一例として筆記具２を説明したが、補助具は、図１３に示すように、予め特定のロケータが刻印され、内部にインクが充填されたスタンプ４を用いるようにしてもよい。インクには、ブラックライト（紫外線）を照射すると発光する蛍光体を含むものを用いることができる。筆記具２による場合、自由度が高い反面、描かれるシンボルの形状が利用者によってばらつきが生じ、検出が困難になることも想定される。これに対し、予め特定のロケータが刻印されたスタンプとすることで、ロケータの検出が容易になる。図１３に示すロケータＭ６は、メモ用紙（ＤＯＣ）の地色と異なる色値からなる現出部と、メモ用紙（ＤＯＣ）の地色からなる非現出部とを有し、２本の直線部と、当該２本の直線部の端部同士が接する角部とを有する、直線部と角部とを有する現出部と、当該直線部と角部とを有する現出部の内側に位置する矩形状の現出部とを少なくとも含み、非現出部は、直線部と角部とを有する現出部と矩形状の現出部との間の領域からなる。なお、このようなロケータＭ６は一例にすぎず、他の形状のロケータでもよい。

なお、上記した種々の内容は、本発明の技術的思想を逸脱しない範囲に於いて可能な限り組合せることができる。

１・・・シンボル用シート
２・・・筆記具
３・・・光源
４・・・スタンプ
ＤＯＣ 撮像対象物（メモ用紙）
ＭＰ スマートフォン
ＣＡＭ カメラ
ＣＰＵ 中央処理装置
ＭＭ メインメモリ
ＢＵＳ バス
ＭＥＭ メモリユニット
ＯＳ オペレーティングシステム
ＡＰＬ 画像処理プログラム
ＵＤＴ ユーザデータエリア
ＴＩＦ 通信インターフェース
ＢＴＮ ホームボタン
ＴＰＮ タッチパネル
ＤＩＳＰ ディスプレイパネル
ＳＰＫ スピーカ
ＢＳ 基地局
ＡＰ アクセスポイント

Claims (14)

1. 所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像するカメラと、
   前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、
   前記画像データを保存する画像データ保存手段と、
   を備える携帯端末。
2. 前記所定のシンボルは、前記撮像対象物の所定の領域に存在する光学パターンとは異なる光学パターンで形成される、
   請求項１に記載の携帯端末。
3. 所定のシンボルが利用者により付された撮像対象物を撮像するカメラと、
   前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、
   前記画像データを保存する画像データ保存手段と、備え、
   前記所定のシンボルは、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである、携帯端末。
4. 前記所定のシンボルは、特定の波長の光が照射されると前記カメラで認識することが可能な光を発する光学パターンである、請求項１から３の何れか１項に記載の携帯端末。
5. 前記中央処理装置は、前記原画像から前記所定のシンボルを検出し、前記撮像対象物において前記所定のシンボルに囲まれた領域を画像取得領域として認識する、請求項１から４の何れか１項に記載の携帯端末。
6. 前記所定のシンボルは、線像により形成され、
   前記中央処理装置は、前記線像により囲まれた領域を前記画像取得領域と認識する、請求項１から５の何れか１項に記載の携帯端末。
7. 前記所定のシンボルは、点又は特定の図形により形成されるロケータであり、
   前記中央処理装置は、前記撮像対象物に付された前記ロケータを複数検出すると、検出したロケータを頂点とする図形により囲まれた領域を前記画像取得領域と認識する、請求項１から６の何れか１項に記載の携帯端末。
8. 所定のシンボルが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末と共に用いるシンボル用シートであって、
   前記撮像対象物に付され、少なくとも撮像面側に前記所定のシンボルを有する
   シンボル用シート。
9. 所定のシンボルが付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末と共に用いる補助具であって、
   前記撮像対象物に前記所定のシンボルを付するためのインクを有し、
   前記インクは、利用者により前記撮像対象物に付されると、通常の可視光線下においてヒトが認識できない光学パターンとなる、補助具。
10. 前記インクは、無機蛍光塗料と、赤外線反射塗料とのうち、少なくともいずれか一方を含む、請求項９に記載の補助具。
11. カメラで所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像すると、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理プログラムであって、
    前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、
    前記中央処理装置に、
    前記原画像から前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、
    前記画像データを前記画像データ保存手段に保存するステップと、を実行させる、画像処理プログラム。
12. カメラで所定のシンボルを有するシンボル用シートが付された撮像対象物を撮像すると、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理方法であって、
    前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、
    前記中央処理装置が、
    前記原画像から前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、
    前記画像データを前記画像データ保存手段に保存するステップと、を実行する、画像処理方法。
13. 所定のシンボルが利用者により付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理プログラムであって、
    前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、
    前記中央処理装置に、
    前記原画像から、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、
    前記画像データを前記画像データ保存手段に保存するステップと、を実行させる、画像処理プログラム。
14. 所定のシンボルが利用者により付された撮像対象物を撮像するカメラと、前記カメラが撮像した撮像対象物の原画像から前記所定のシンボルを検出し、当該所定のシンボルを基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像を切り出して画像データとして取得する中央処理装置と、前記画像データを保存する画像データ保存手段と、を備える携帯端末で実行可能な画像処理方法であって、
    前記カメラにより前記所定のシンボルの位置が含まれるように前記撮像対象物が撮像されると、
    前記中央処理装置は、
    前記原画像から、通常の可視光線下においてヒトの目では認識することが不可能な光学パターンである前記所定のシンボルを検出し、検出された所定のシンボルの位置を基準に算出された所定領域を画像取得領域として認識し、当該画像取得領域にある画像データを切り出して画像データとして取得するステップと、
    前記画像データを前記画像データ保存手段に保存するステップと、を実行する、画像処理方法。

Images