JP2009245252A - 画像処理装置及び電子ペン及びプログラム - Google Patents

Abstract

【課題】効率的かつ正確な復号のための画像取得を実現する。
【解決手段】所定媒体に設けられた所定符号パターン画像を取得する画像取得部２５０と、取得部２５０で得られた入力画像の一部領域を部分画像として切り出す画像切り出し部１２０と、部分画像から得る所定の画像特徴に基づいて部分画像の切り出し領域を決定する切り出し領域制御部１２２と、供給される部分画像を復号して符号パターン画像に応じた情報を取得する復号処理部１６０と、を備える。切り出し領域制御部１２２は、画像特徴が所定変更基準の場合に、入力画像からの部分画像の切り出し領域を変更する。
【選択図】図２

Description

この発明は、画像処理装置及び電子ペン及びプログラムに関する。

ペン型スキャナ(電子ペン)などで紙面上の符号パターン画像を撮像し、符号パターン画像を復号することで、紙面位置に依存した情報を取得する技術が知られており、特許文献１、特許文献２などに提案されている。

このようないわゆる電子ペンは、ＣＣＤなどの撮像手段を内蔵しており、撮像手段がペン先の配置される紙面を撮像し、得られた画像情報を復号処理して紙面位置や紙の固有情報を得る。

正確な復号情報を得るためには、最適な条件で撮像を行って、復号処理を実行することが望まれるが、電子ペンの用いられる環境は、必ずしも一定ではなく、常時最適な条件で処理することは難しい。

そこで、特許文献１では、撮像して得た符号パターン画像を復号してできた２つの位置情報に対応する画像と、この２つに挟まれ、復号できなかった画像をセグメントとして、復号できなかった画像の推定を行う。このような推定をすることで、復号精度を高めている。

また、特許文献２では、画像処理結果に基づいて生成された画像統計情報を参照し、得られた画像が、例えばシャープネス、コントラスト不足、高ノイズ状況のいずれかであるかによって、符号パターン画像を構成するドットの濃度や背景画像濃度の判定などにおける、画像処理パラメータを切り替えている。このようにパラメータを切り替えることで、様々な条件の撮像画像に対して復号精度を維持する得る試みがなされている。

特開２００５−３２７２４６号公報 国際公開第０３／００１４５０号パンフレット

しかし、入力画像に生じる画像幾何歪、濃度歪が大きい場合には、情報の欠落した画像の推定や、画像処理パラメータの変更など信号処理側だけでは対応できず、復号特性が低下することがある。

例えば、電子ペン内に内蔵された撮像部と、ペン先との距離は一定であるが、撮像部は固定されているため、ペンの持ち方、つまりペンの傾け方によって、撮像部と紙面との距離が大きく異なる。ペンの長手方向と紙面の法線方向とが一致している状態を基準として紙面に焦点を合わせた場合、ペンが傾いて撮像部と紙面との距離が近づいた場合も、ペンが逆方向に傾いて撮像部と紙面との距離が大きくなった場合も、焦点が合いにくく、撮像画像内において焦点の合わない領域が発生することがある。また、ペンに撮像紙面を照射するための光源が設けられている場合があるが、このような光源もペン内に固定されているため、ペンの傾け方によって照射対象たる紙面の明るさ、即ち、得られる撮像画像の明るさなどにも大きな差を生ずる。したがって、基準状態と実際の状態の差が画像処理の限界を超えると、補正が困難となり、復号できないという課題がある。

本発明は、できるだけ条件の良い領域からの特性の良い画像情報を得て、高い復号特性の維持を図る。

請求項１に係る発明では、所定媒体に設けられた所定符号パターン画像を取得する画像取得部にて得られた入力画像の一部領域を部分画像として切り出す画像切り出し部と、前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定する切り出し領域制御部と、供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得する復号処理部と、を備え、前記切り出し領域制御部は、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更する。

請求項２に係る画像処理装置では、前記符号パターン画像は、複数のドットによるパターンを含み、前記切り出し領域制御部は、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定する。

請求項３に係る画像処理装置では、前記符号パターン画像は、複数のドットによるパターンを含み、前記切り出し領域制御部は、前記部分画像内でのドットの分布又は画像コントラスト分布を変更基準として前記切り出し領域を決定する。

請求項４に係る画像処理装置では、前記切り出し領域制御部は、前記部分画像内の画像コントラストを変更基準として、前記切り出し領域を決定する。

請求項５に係る画像処理装置では、前記切り出し領域制御部は、前記部分画像の濃度を変更基準として、前記切り出し領域を決定する。

請求項６に係る画像処理装置では、前記切り出し領域制御部は、前記部分画像を複数の小領域に分割し、前記複数の小領域のそれぞれで得られる所定の領域画像特徴が示す前記部分画像内での傾向に基づいて、前記入力画像からの切り出し領域の変更先を決定する。

請求項７に係る画像処理装置では、前記領域画像特徴は、前記複数の小領域内でのコントラストまたは濃度、または前記符号パターン画像に含まれるドット数またはドット密度の少なくともいずれかである。

請求項８に係る画像処理装置では、前記切り出し領域制御部は、現在の部分画像の切り出し位置から、変更後の新たな切り出し位置への部分画像への移動距離を、前記領域画像特徴が示す前記部分画像内での傾向に応じて決定する。

請求項９に係る画像処理装置では、前記切り出し領域制御部は、前記部分画像の前記画像特徴に基づいて、所定の複数の選択可能な領域の中から、前記部分画像の切り出し領域を選択する。

請求項１０に係る画像処理装置では、前記符号パターン画像は複数のドットによるパターンを有し、前記切り出し領域制御部は、前記ドットのパターンの整列角度に基づいて、前記部分画像の切り出し領域を決定する。

請求項１１に係る画像処理装置では、前記切り出し領域制御部は、前記整列角度に応じ、前記部分画像の切り出し領域の大きさを変更する。

請求項１２に係る記載の画像処理装置では、前記切り出し領域制御部は、前記復号処理部での前記部分画像に対する復号の失敗が検出されたことを前記変更基準として、前記入力画像からの前記部分画像の切り出し領域を変更する。

請求項１３に係る画像処理装置では、前記切り出し領域制御部は、前記部分画像についての前記復号の失敗が複数回発生した前記切り出し領域を、前記入力画像から前記部分画像を切り出す領域の候補から除外する。

請求項１４に係る電子ペンでは、所定媒体に設けられた所定符号パターン画像を取得する画像取得部と、前記画像取得部にて得られた入力画像の一部領域を部分画像として切り出す画像切り出し部と、前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定する切り出し領域制御部と、供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得する復号処理部と、を備え、前記切り出し領域制御部は、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更する。

請求項１５に係る電子ペンにおいて、前記符号パターン画像は、複数のドットによるパターンを含み、前記切り出し領域制御部は、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定する。

請求項１６に係る電子ペンにおいて、前記切り出し領域制御部は、前記部分画像を複数の小領域に分割し、前記複数の小領域のそれぞれで得られる所定の領域画像特徴が示す前記部分画像内での傾向に基づいて、前記入力画像からの切り出し領域の変更先を決定する。

請求項１７に係る電子ペンにおいて、前記切り出し領域制御部は、前記復号処理部での前記部分画像に対する復号の失敗が検出されたことを前記変更基準として、前記入力画像からの前記部分画像の切り出し領域を変更する。

請求項１８に係る電子ペンにおいて、前記入力画像からの前記部分画像の切り出し領域からは、電子ペンのペン先領域が除外されている。

請求項１９に係る電子ペンにおいて、撮像素子を備える前記画像取得部と、前記画像切り出し部の機能を備え、前記撮像素子からの情報を処理して撮像画像を得る撮像画像処理部と、を備える撮像装置を有する。

請求項２０に係るプログラムにおいて、画像取得部にて、所定媒体に設けられた所定符号パターン画像を取得させ、画像切り出し部にて、入力画像の一部領域を部分画像として切り出し、切り出し領域制御部にて、前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定し、復号処理部にて、供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得し、前記切り出し領域制御部にて、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更する処理を実行させる。

請求項２１に係るプログラムにおいて、前記符号パターン画像は、複数のドットによるパターンを含み、前記切り出し領域制御部にて、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定させる。

本発明によれば、入力画像からその一部を、復号対象の領域として切り出すが、切り出した部分画像の画像特徴が所定変更基準の場合には、切り出し領域を変更する。よって、より撮像条件の優れた領域から、復号対象となる部分画像を得ることができ、復号精度を高めることができる。例えば、画像取得部に汎用撮像素子を採用した場合、復号に必要な領域よりも大きな撮像画像が得られる可能性が高い。この大きな撮像画像全体に対して復号を実行すると、処理画素数多く復号速度が低下するが、本発明では、その内の一部を部分画像として切り出して用いるため、高速の復号処理を実現できる。

本発明によれば、部分画像の切り出し領域を変更するかどうかの変更基準として、符号パターン画像に含まれる複数のドットパターンから得るドット数を採用する。ドット数は、復号処理に先立って検出され、またドット数が所定より少なければ復号に不具合を生ずる可能性が高い。よって、無駄なく適切に部分画像の切り出し領域を決定することができる。

また、画像特徴としてドット分布を採用することにより、例えばドット数が多い領域の方向を容易に知ることができ、よりドット数が多く、復号処理の成功の可能性の高い領域から部分画像を切り出すことができる。

また、本発明において画像特徴として、画像コントラスト、濃度などを採用して部分領域の切り出し領域を決定しても良い。これらの特徴についても復号精度に影響を及ぼすため、無駄なく適切に部分画像の切り出し領域を決定することができる。

本発明において、部分画像を複数の小領域に分割し、複数の小領域のそれぞれで得られる所定の領域画像特徴が示す傾向に基づいて、切り出し領域の変更先を決定すれば、復号処理の成功の可能性の高い領域を迅速かつ確実に決定して次の部分画像を得ることができ、処理の効率化を図ることができる。

なお、この領域画像特徴として、小領域内でのコントラスト、濃度、ドット数、ドット密度などを採用すれば領域の変更を効率的に決定できる。

本発明において、現在の部分画像の切り出し位置から、変更後の新たな切り出し位置への部分画像への移動距離を領域画像特徴が示す部分画像内での傾向に応じて決定すれば好適な画像特徴を備える部分画像をより確実かつ迅速に切り出すことができる。

また、本発明において、切り出し領域として選択可能な領域を予め決めておくことで、簡易な処理部構成によって、確実な切り出し領域の決定を実現できる。

本発明において符号パターン画像は複数のドットによるパターンを有している場合に、切り出し領域制御部が、ドットのパターンの整列角度に基づいて、部分画像の切り出し領域を決定することができる。このように、符号パターン画像が付された所定媒体と画像処理装置との角度に応じて部分画像の切り取り角度を決定でき、この角度を合わせれば、復号に必要な符号パターン画像を部分画像から得ることができる。

本発明において、復号処理部での部分画像に対する復号の失敗が検出された場合に入力画像からの部分画像の切り出し領域を変更すれば、復号の成功しない領域の画像を無駄に取得して復号処理することを防止できる。

また本発明において、部分画像についての復号の失敗が複数回発生した切り出し領域を、部分画像を切り出す領域の候補から除外すれば、復号の成功しない領域に対して無駄に復号することを防止できる。例えば画像取得部の画像読み取り部に汚れが付着しているなど、何度実行しても原因を取り除かないと復号できない部分画像に対して復号処理を繰り返す手間を防ぐことができる。

更に本発明において、以上のような手段や処理を実行する電子ペンとすれば、復号が確実であり、処理が早く使いやすい電子ペンを提供することができる。

本発明の電子ペンにおいて、入力画像からの部分画像の切り出し領域から、電子ペンのペン先領域を除外すれば、ペン先がじゃまとなって確実に画像を得ることができない領域の画像を無駄に取得して復号する処理を省略することができる。

撮像装置を内蔵する電子ペンにおいて、この撮像装置内に部分画像の切り出し部の機能を備える場合には、切り出し領域制御部が、切り出し部に画像から切り出すべき領域の決定を撮像装置に実行させることで汎用性の高い撮像装置の利用にも対応できる。

以下、図面を参照して本発明の最良の実施の形態（以下、実施形態という）について説明する。

本実施形態に係る画像処理装置は、図１に示すようなペン型スキャナ(電子ペン)などに採用することができ、紙などの所定媒体に設けられた符号パターン画像を取得し、取得した画像復号処理によって符号パターン画像に応じた媒体上での位置情報などを取得する。この復号対象となる画像は、取得した画像の内の一部領域を部分画像として切り出した画像とする。また、部分画像から得る所定の画像特徴が変更基準かどうかによって、部分画像の切り出し領域を変更するかどうかを制御し、復号対象範囲よりも大きな画像を得て、その中から復号により適した部分画像を切り出す機能を備える。

（電子ペン）
まず、上記のような本実施形態に係る画像処理装置を備える電子ペンの概略構成について図１を参照して説明する。

電子ペン３００は、電子ペン３００の動作全体を制御する制御回路１０、紙面などへのインクなどによる筆記を行うペンチップ２１０、筆記動作をペンチップ２１０に加わる圧力から検出するための圧力センサ２２０を有する。また、紙面を照明するための光源２４０、紙面に付された画像を取得する画像取得部として撮像装置２５０を有する。さらに、入力画像から符号パターンの検出、復号する入力画像処理部１００、該画像処理部１００内の復号処理部１６０で得られる筆記情報を記憶するメモリ２８０、外部装置と通信するための通信回路２９０、電子ペンを動作させるためのバッテリ２７０などを有する。

上記制御回路１０には、撮像部２５０、光源２４０、圧力センサ２２０、光源２４０、撮像部２５０、入力画像処理部１００、バッテリ２７０、メモリ２８０、通信回路２９０などが接続され、バッテリ２７０から電力供給を受けて各部の制御、動作を制御する。

ペン端部に取り付けた圧力センサ２２０によって筆記動作が検出されると、光源２４０を点灯して、紙面上の画像を撮像装置２５０によって撮像する。光源２４０は、ここでは、一例として赤外ＬＥＤを採用している。

撮像装置２５０としては、ここでは赤外領域に感度がある赤外ＣＭＯＳセンサ素子を用いているが、撮像素子としてＣＭＯＳセンサではなく、ＣＣＤなど他の撮像素子を使用しても良い。光源２４０の点灯タイミングは、消費電力を抑制するために、ＣＭＯＳセンサのシャッタータイミングに同期させてパルス点灯することができる。ＣＭＯＳセンサは、撮像した画像を同時に転送できるグローバルシャッター方式のＣＭＯＳを使用している。なお、ＣＭＯＳセンサには、外乱の影響を低減するために、ＣＭＯＳセンサ全面に可視光カットフィルタを配置している。

入力画像処理部１００については、図２を参照して以後に詳しく説明するが、撮像した画像から符号パターン画像を含む部分画像を切り出し、部分画像を復号し、符号パターン画像に埋め込まれている筆記情報（座標情報と識別情報）を取得する。

復号した筆記情報は、メモリ２８０に格納する。通信回路２９０は、メモリ２８０に格納された筆記情報の送信や、外部からの制御情報などの受信を行う。なお、符号パターンを復号するための復号鍵は、通信回路２９０を通じで外部より電子ペン３００のメモリ２８０に格納される。

さらに、入力画像処理部１００は、復号が失敗となった場合、部分画像を切り出す領域を変更し、復号結果を得る前に、部分画像内に含まれるドット数、ドットコントラスト、濃度或いはこれらの分布など、復号に先だった情報処理の結果得られる画像特徴が所定の変更基準の場合なども、部分画像を切り出す領域を変更する。

以上のような電子ペン３００で紙面を筆記すると、電子ペンにより紙面に印刷された符号パターン画像が撮像され、紙面に付された符号パターン画像が復号され、位置情報と識別情報が取得される。この電子ペン３００は、７０ｆｐｓ〜１００ｆｐｓ程度の速さで画像を取り込むため、一回の筆記動作で複数の位置情報と識別情報を取得できる。

識別情報は紙面の位置によらず同じ情報が埋め込まれており、複数の識別情報の多数決を取ることで、識別情報の信頼性をあげる。

一方、位置情報は、紙面の位置により情報が異なるが、筆記により生じた隣接する位置情報については、その位置（座標）の連続性を検証することで、復号が失敗した箇所があっても、ある程度、そのような失敗箇所を検出し、補間することが可能となっている。

以上のような電子ペン３００に有線により又は無線により接続される端末装置（図示しない）は、以上のようにして得られる電子ペン３００からの筆記情報を取得し、識別情報管理サーバ（図示しない）へ送信する。識別情報管理サーバは、例えば、受信した筆記情報に含まれる識別情報を元に、対応する電子文書の属性情報を検索する。対応する電子文書の属性情報を検出すると、オリジナルの電子文書にアクセスし、オリジナルの電子文書から筆記情報を反映するための電子文書（筆記済電子文書）を生成する。この処理の前に、筆記済電子文書があるかどうかを検索し、筆記済の電子文書を検出した時は、筆記済の電子文書に今回取得した筆記情報を反映しても良いし、端末装置に新たに筆記済電子文書を生成するか、検出した筆記済電子文書に筆記情報を追記するかどうかを問い合わせる構成としても良い。筆記済電子文書は、識別情報管理サーバに筆記済電子文書の属性情報（格納場所）を予め登録しておくことで、容易に検索・取得できる。

筆記済電子文書は、電子文書の部分は編集できず、筆記情報を後から追記可能な構成とすることができる。例えば、紙に筆記した情報を一度電子化した後、同じ紙に再度筆記したときに、追加された筆記情報を筆記済電子文書上に追加することができる。

（画像処理）
次に、本実施形態に係る画像処理装置及びこの装置の切り出し処理について図２及び図３を参照して説明する。

撮像装置（画像取得部）２５０は、紙面に印刷された符号パターン画像を読み取る。図２に示すように装置内の撮像素子は、例えば現在汎用されているＶＧＡ（Video Graphics Array）規格の大きさの画像（６４０画素×４８０画素）を撮像することができる７５２画素×４８０画素の撮像面を持つ。撮像された画像は、ノイズ（撮像素子感度のばらつきや電子回路により発生するノイズ）を低減し、かつ画像処理の負荷を低減するために２×２画素加算された半分の大きさに縮小される。縮小された画像は、入力画像処理部１００の画像切り出し部１２０に供給され、ここで、復号に必要な量の部分画像が切り出される。図２の例では、部分画像は、１５０画素×１５０画素のサイズである。入力画像から部分画像を切り出す領域は、例えば、予め最も画像品質が良いと想定される所定の基準領域（開始領域）を選択する。ペン先に近い位置は、焦点の変動が少なく画像品質が安定しているため、ペン先にできるだけ近い位置などを開始領域とすることができる（但し、ペン先の領域は、撮像できないので除外する）。もちろんペンなどの特性に応じて他の領域を開始時の基準領域としてもよい。

切り出された部分画像は、ドット位置検出部１３０に供給される。なお、撮像系の特性に応じてドット位置検出部１３０に部分画像を供給する前に、例えば、ぼかし処理や先鋭化処理などの前処理を適用することができる。

なお、本実施形態では、符号パターンとして、ｍＣｎパターン方式のドットパターンを採用している。この方式のドットパターンを媒体に印刷などによって付し、電子ペン３００を利用して、情報が埋め込まれたこのドットパターンを検出する。ｍＣｎパターンは、ｍ箇所のドット配置候補領域に対して、選択的にｎ個のドットを配置することで、ｍ！／（（ｍ−ｎ）!×ｎ！）通りの情報を埋め込む方式である。

図４（ａ）は、このｍＣｎパターンとして、９Ｃ２パターンを利用したドットパターンの単位符号パターン、図４（ｂ）はこの単位符号パターンが用いられた同期信号、Ｘ位置符号、Ｙ位置符号および識別符号の配列からなる単位符号ブロック、図４（ｃ）は、単位符号ブロックが画面全体に配列される様子を示している。

単位符号パターンは、図４（ａ）に示すように、例えば９箇所のドットを配置できる場所から、２つの場所を選択してドットを配置する。この場合、単位符号パターンのドット配置組み合わせは、３６通り(₉Ｃ₂)となる（_９Ｃ_２＝９！／｛（９−２）!×２!｝）。

１つのドットサイズ（四角の大きさ）は、例えば６００ｄｐｉ（dot/inch）で２×２画素であり、計算上は８４．６μｍとなるが、印刷すると１００μｍ程度になる。従って、単位符号パターンの大きさは、６００ｄｐｉで１２×１２画素（０．５０７６×０．５０７６ｍｍ)となる。なお、３６通りのパターンのうち、３２パターン(＝２⁵＝５ビット)を、情報埋め込み用として使用する。

残りの４パターンは符号ブロックの検出と、回転角度検出用の同期符号として使用する。同期符号に使用する４つのパターンは、互いに９０度回転対象のパターンになるように選択する(符号ブロックの９０度単位の回転角度を検出するため)。すなわち、画像生成時に４通りのうち、1つのパターンを同期符号として埋め込んでおくことで、復号の際、同期符号が４通りのうちどの角度で検出されたかによって、符号ブロックの回転角度を補正できる。

なお、単位符号パターンは、９箇所の中の２箇所にドットを配置する方法には限定されず、９未満なら何個であっても良い。例えば、９箇所のうち３箇所にドットを配置する構成とすれば、ドット配置の組み合わせは８４通りとなる(₉Ｃ₃)。ドットを配置可能な場所も９個に限らず、その他の数、例えば１６個などとしても良い。

符号ブロックは、図４（ａ）の単位符号パターンを図４（ｂ）に示すように５×５個並べて構成されている。符号ブロックの左上位置には、同期符号を配置する。同期符号は、３６通りの組み合わせの中から、互いに９０度回転対称となっている４通りの符号パターンのセットを選択し、選択された４通りの単位符号パターンから選択された１つの単位符号パターンを符号ブロックの左上に配置する。

同期符号の右横に隣接する４個の単位符号パターンを使用して、Ｘ方向の位置に固有な情報を符号化したＸ位置符号を配置する。また、同期符号の下側に隣接する４個の単位符号パターンを使用して、Ｙ方向の位置に固有な情報を符号化したＹ位置符号を配置する。

Ｘ位置符号、Ｙ位置符号は、夫々４個の単位符号パターンを使用するので、夫々が２０bit(５bit×４個)の情報を格納できる。位置符号として情報埋め込み用の３２種類のパターンを使用せず、１６種類のパターンだけを使用しても良い。この場合は、単位符号パターン当たりの情報量は４bitとなるため、位置符号としては１６bit（４bit×４個）の情報量となる。

符号ブロックの残りの領域（右下象限）には識別符号を配置する。識別符号は画像位置によらず常に同じ情報を配置する。識別符号の領域は、単位符号パターンを１６個(４×４個)配置できるので、８０bit（５bit/単位符号パターン×１６個）の情報を格納できる。本実施例の単位符号パターンは多値符号であるので、読み取り時などで発生する誤りも、単位符号パターンの単位で発生する。従って、誤り訂正符号としては、ブロック単位の誤り訂正が可能な方式が望ましい。識別符号に一般的に良く知られたブロック誤り訂正符号方式であるＲＳ符号を使用すれば、ＲＳ符号のブロック長を単位符号パターンの情報量である５bitとすることができる。この場合、ＲＳ符号の符号長は１６ブロック（＝８０bit÷５bit/block）となり、例えば３ブロックの訂正能力を持たせるとすれば、ＲＳ符号の情報符号長は１０ブロック(＝１６ブロック−３ブロック×２)となる。この場合、５０bit(＝５bit/block×１０block)の情報が識別符号の領域に埋め込まれる。

以上のような符号パターンが記録媒体に付されており、本実施形態では、まず、ドット位置検出部１３０が、部分画像からドットパターン画像を検出し、各ドットパターン画像の中心位置（ドット位置）を検出する。図５（ａ）は、撮像し、切り出した部分画像を示している。図５（ｂ）は、この部分画像からドットを検出した状態の画像を示す。ドット位置検出では、部分画像に対して２値化処理を実行し、ドットパターン画像部と背景画像部を切り分ける。次に、２値化された個々の画像位置からドットの位置を検出する。なお、２値化された画像にノイズ成分が多数含まれる場合があるため、２値化された画像の面積や形状によりドットパターン画像であるか否かの判定を行うフィルタ処理を組み合わせる。

次に、図５（ｂ）のように検出されたドット位置に基づいて、図３に示していないが、近接ドット対の検出と、ドット対選択を実行して基準ドット対を得る。まず、検出したドット位置を参照し、各ドット位置から最も近いドット位置からドット対（近接ドット対）を構成する。次に、このようにして複数生成されたドット対の中から、基準ドット対を選択する。なお、この基準ドット対は、複数の近接ドット対の中でもドット間距離が特に短いドット対である。

選択された基準ドット対に基づいて、ドット整列角度検出部１３２は、ドットパターン画像の回転角度を判定する。ここで判定される角度は、０度から９０度の範囲である。ドット同期化部１３４は、ドット位置検出部１３０で検出されたドット位置と、上記角度検出部１３２で検出された回転角度および基準ドット間の間隔を参照し、ドット位置を２次元配列上に同期する。図６は、この同期化処理を概念的に示している。ドット検出画像（図６（ａ））に対し、回転角度を考慮して同期化処理が実行される。ドット対の回転角度が０°の場合には図５（ｃ）のように２次元配列も傾きがないが、図６（ｂ）のようにドット対が回転している場合、２次元配列も対応して回転して形成される。なお、検出された複数のドットパターンの内、最も近接しているドットの対が向いている方向から符合パターンの傾き角度（回転角度）を検出することができ、この検出された回転角度を格子の方向とする。最も近接した２つのドット間の距離が符号パターンのドット間隔となっているので、同期化処理に使用する格子の間隔は、検出された最も近接したドットの対の間隔とすることができる。なお、後述する図９の画像もドット対が回転しており、得られる同期処理画像も対応して回転していることが分かる。

以上のようにして形成された仮想格子内にドットパターン画像が有る位置は、「１」、ドットパターン画像が無い位置は「０」と置き換え、検出したドットパターンを２次元ビット配列として表現されるデジタルデータに置き換える（図６（ｃ））。

単位符号パターン境界検出部１３６は、２次元ビット配列に基づいて、符号ブロックを構成している単位符号パターンの境界を検出する。図７は、このパターン境界検出処理を概念的に示しており、実際には、図７のドットがある部分は２次元ビット配列のビット１の部分、ドットがない部分が２次元ビット配列のビット０の部分に相当する。同期化部１３４から供給される２次元ビット配列上で、単位符号パターンと同じ大きさをもつ矩形の区切り位置を移動させ、区切り内に含まれるドット数、すなわちビット数が、単位符号格子内で均等になる位置を単位符号パターンの境界位置として検出する。

すなわち、ます目の大きさが単位符号パターンと同じ大きさで、複数のます目を備えた格子パターンを用意し、その格子パターンを図７（ａ）のような符号パターン上で走査する（図７（ｂ）、（ｃ）、（ｄ））。各々のます目に含まれるドット数をカウントし、ます目に入るドット数のばらつきが最も小さい位置で、格子パターンを固定する。この固定された位置が単位符号パターンの境界位置となる。なお、単位格子内に９個のドットが配置でき、その内の任意の２個にドットを入れる_９Ｃ_２の単位符号パターンを使用した場合は、正しい格子位置（ｄ）では、各々のます目に入るドット数は２となる。しかし、図７（ｂ）および（ｃ）のように、格子が正しい位置で無い場合では、０個から７個の範囲で個数がばらつく。_９Ｃ_３の単位符号パターンを使用した場合は、正しい格子位置では、各々のます目に入るドット数は３となるが、正しい位置で無い場合、同様に個数がばらつく。

同期符号検出部１３８は、２次元配列から検出された各々の単位符号パターンの種類を参照し、同期符号を検出する。所定数（例えば４種類）の同期符号のいずれが検出されたかにより、符号パターンの向き（９０度単位）を検出し、回転を補正することができる。

識別情報符号検出部１４０、位置符号検出部１４２は、それぞれ角度が補正された符号パターンから、同期符号の位置を基準にして識別情報符号、位置符号を検出する。

復号処理部１５０の内、ＲＳ符号復号処理部１５２は、例えばＲＳ符号の符号化処理で用いたパラメータ（ブロック数など）と同じパラメータを用いて検出された識別情報符号を復号し、識別情報を出力する。

位置符号復号部１５４は、位置符号検出部１４２で取得された位置符号から、例えば、Ｍ系列の部分系列を取り出し、画像生成に使用したＭ系列に対する部分系列の位置を参照し、その位置から同期符号による位置のオフセット（位置符号の間に同期符号が配置されているため）を補正した値を位置情報として出力する。

（切り出し領域制御）
本実施形態では、以上のようにして、紙面を撮像して得た画像から切り出した部分画像に基づいて、識別情報、位置情報、即ち、紙個別のＩＤと、その紙面でペンが配置されている領域（撮像した領域）のＸ，Ｙ座標の情報を得る。これによりペンによるデジタル入力が実現される。

ここで、切り出し領域制御部１２２は、図３では、ドット同期化部１３４と復号部１５０に接続されている。切り出し領域制御部１２２は、画像特徴が所定の変更基準の場合に切り出し領域の変更を切り出し部１２０に指示する。変更基準は、例えば、ドット同期化部１３４で得られる上述の図６（ｃ）のような同期画像から部分画像内のドット数（例えば「１」の数に相当）であり、このドット数が所定数に満たない場合、切り出し領域の変更を決定する。この決定は、切り出し部１２０に出力され、切り出し領域が変更される。

例えば、取得した部分画像が図８（ａ）に示すように、右半分についてのドットについて焦点が合っていない場合、ドット検出を実行しても、図８（ｂ）のように焦点の合った左側の一部についてしかドット検出ができず、同期化処理を実行しても、同様に左側部分しか同期画像を得ることができず、識別情報、位置情報を得ることは難しい。また、図９に示す例も同様に、得られた部分画像は一部にしか焦点が合っておらず（図９（ａ））、検出されるドットも焦点の合った領域に限られ（図９（ｂ））、対応する同期画像も一部しか得られない（図９（ｃ））。

部分画像として図２のように１５０×１５０画素を切り出す場合において、一例として、一つの部分画像の同期画像のドット数が７０個以下の場合には、切り出し領域を変更することで、得られるドット数がより多い領域からの部分画像を得るようにする。なお、ドット数による領域変更は、復号結果が実際に失敗となることを待つことなく実行しても良い。

変更の基準となるドット数は、部分画像の大きさ、復号処理内容、復号精度などによって決定でき、例えば復号するために最低限必要なドット数などに設定しておくことで、復号が失敗となる同一領域の部分画像が連続して取得されることが防止される。

また、本実施形態では、復号が失敗した場合、復号部１５０から復号失敗の検出信号を変更基準として切り出し領域制御部１２２に供給することで、復号結果が失敗となった場合には、ドット数などの他の変更基準に関わらず、直ちに部分画像の切り出し領域の変更を行う。このように制御することで、復号の失敗が続く可能性が低減される。

切り出し領域の変更基準としては、上記ドット数には限られず、部分画像の他の所定の画像特徴を利用することもできる。例えば、部分画像内でのドットの分布、ドット密度に基づいて前記切り出し領域の変更を判断しても良い。ドットの分布、ドット密度は、例えば、部分画像内で検出されたドット数が基準を超えていても、紙面の汚れであったり、符号パターン画像が無く、電子ペンシステムに非対応の画像を撮像したような場合、均一な分布とならない。したがって、ドットの分布の均一性が基準値以下（例えば、同期化限界基準など）の場合に部分画像の切り出し位置を変更しても良い。もちろん、部分的に焦点が合っていない、撮像するのに十分な光量が得られていないなどの場合もドット分布は部分画像内で不均一となるため、ドット分布や密度を変更の基準とすることもできる。

また、変更基準として、ドットのコントラスト（背景とドットとのコントラスト）、濃度（ドットの濃度）、コントラスト分布や濃度分布などを採用しても良い。例えばコントラスト、濃度の情報は、ドット位置検出部１３０におけるドット検出に際し、部分画像に対して２値化処理を実行する際に得られる。そこで、ドット位置検出部１３０からコントラスト値、濃度情報を受け、その情報に基づいて、コントラスト不十分、濃度不十分で同期化や復号が成功しないような条件の場合、部分画像の切り出し領域を変更してもよい。なお、コントラストや濃度は、その後の信号処理の方法などによって、影響を小さくできる場合もある。そこで、必ずしも復号精度に大きな影響を与えない場合などには、コントラストや濃度が基準値を下回り、かつ、復号が失敗した場合に部分画像の切り出し領域を変更する処理としても良い。

部分画像の切り出し領域を変更する場合において、変更先については、例えば図１０に（ｉ）〜（ｖｉ）で示すように、予め決めた優先順位にしたがって変更しても良い。上述のドット数やドット分布、コントラスト、濃度、又はそれらの分布などの画像特徴、または復号の結果、変更すべきと判断された場合に、現在の切り出し領域が（ｉ）であれば、次は領域（ｉｉ）に変更するという方法である。なお、ペン先の近くが最も撮像条件（焦点距離、照度）が良いことが多いため、優先順位はペン先の近くからとすることができる。もちろん、優先順位は、ペンの種類や撮像環境などに応じて任意に決定することができる。

また、同一の領域について、複数回の復号結果が失敗となる場合、この領域に対応する位置に撮像素子の不具合や、撮像部の汚れなどが発生している場合もある。そこで、複数回復号結果が失敗となった領域は部分画像の切り出し候補から除外することで、復号ができない領域について処理をする無駄が省かれる。

切り出し領域の変更先は、上記ドット分布や、コントラスト分布、濃度分布などから決定してもよい。例えば、図８（ａ）及び図９（ｂ）のような部分画像が得られる場合、検出されるドット分布は、部分画像中の左側に偏ることとなる。つまり、現在の部分画像の左側に切り出し領域を変更すれば、より条件の良い部分画像を得られる可能性が高い。よって、切り出し領域制御部１２２が、ドット分布などの傾き（偏り、傾向）などを検出し、その傾きから切り出し領域の変更先を決定すれば、変更後の部分画像に対し、復号を成功させる可能性が向上する。なおドット分布などの傾き（偏り、傾向）等の所定画像特徴が例えば同期化部１３４等において得られる場合には、切り出し領域制御部１２２は、この画像特徴と変更基準との比較をすればよい。

切り出し領域の変更先を決定するに当たり、図１１に示すように部分画像を複数の小領域に分割し、小領域での画像特徴の比較などから特徴の傾向を判定し、より条件の良い領域に変更しても良い。例えば部分画像を４つの小領域に分割し、小領域毎にドット数を比較して、図１１のように右下ほどドット数が多いことが検出された場合、切り出し領域を現在の部分画像の位置から右下に変更すれば、より条件の良い部分画像を得ることが容易となる。

また、現在の部分画像の位置から、新たな切り出し領域の位置までの変更距離は、例えば、図１０のように、領域（ｉ）から斜め方向への移動は領域（ｖ）又は（ｖｉ）、横方向は（ｉｉ）か（ｉｉｉ）というように、予め決めておくことができる。また、上記のようなドット数の分布や、小領域に分割して各小領域での画像特徴の傾向などから移動距離を決定してもよい。具体的には、傾きが大きければ、移動距離は大きく、小さければ移動距離を小さくする。

部分画像の切り出し領域変更として、切り出し領域の角度を変更してもよい。例えば、紙面のＸ，Ｙ座標に対して撮像画像が傾いている場合、Ｘ，Ｙ座標に沿って符号パターンが配置されているので、四角形の切り出し領域の各辺を撮像画像の辺方向に一致させるよりも、紙面のＸ，Ｙ座標に合わせて回転させた方が復号の基準となるドット検出数などが多くなる可能性が高くなる。したがって、例えば、図２のドット整列角度検出部１３２において検出されるドット整列角度に沿うように、新たな部分画像の切り出し方向（辺方向）を回転させてもよい。また、ペン先に近い方が得られる画像の質が高いことが多いので、図１０において基準位置（ｉ）から新たな領域として位置（ｉｉ），（ｉｉｉ）に変更するのではなく、ペン先端に沿うように切り出し領域位置（ｉｉ），（ｉｉｉ）を回転させてもよい。

また、切り出し領域を回転させる場合でも、撮像装置はペンに固定されているため撮像画像は回転しない。よって、回転させる場合には、例えば切り出し領域の端部が撮像画像からはみ出す可能性もある。そこで、撮像画像から部分領域の切り出し領域がはみ出すと、その領域は完全な情報欠陥領域となるため、復号処理に影響を及ぼす可能性がある。そこで、切り出し領域制御部１２２が、撮像画像からはみ出さないように部分画像の切り出し領域を制限するなどしても良い。

以上の説明では、撮像装置から得られた撮像画像に対して切り出し処理を実行している場合を例にしているが、図１２に示すように、例えば１つの集積チップとして構成される撮像装置２５０の内部に撮像画像から任意の領域を切り出す機能を備えていてもよい。この場合、撮像装置２５０内の撮像画像処理部に切り出し部１２０を備えることになるが、切り出し領域制御部１２２が、上記と同様に部分画像から各画像処理の工程で得られる画像特徴に基づいて切り出し領域の変更、設定を判断し、判断結果に応じて切り出し部１２０に切り出し制御信号を供給すればよい。

なお、以上に説明した例えば切り出し領域制御部１２２などの機能は、プログラムとしてコンピュータなどにインストールされて動作してもよい。また、図１に示すような電子ペンに画像処理装置１００を備える構成には限られず、電子ペンに撮像部２５０を設け、この撮像画像をペン外部に配置された画像処理部１００に送り、外部でドット検出や同期化、復号化処理などを実行してもよい。ただし、撮像画像をそのまま外部に送る場合には情報量が多く、情報の転送に時間を要するため、情報量、通信速度によっては、画像処理装置内部の少なくとも最初の処理を担当する一部の処理部については、電子ペン内に設けた方がよい場合もある。

本発明の実施形態に係る電子ペンの概略構成を示す図である。 本発明の実施形態に係る画像処理装置の処理概念を示す図である。 本発明の実施形態に係る画像処理装置の概略構成を示す図である。 本発明の実施形態において採用可能な符号パターンの構成を概念的に説明する図である。 本発明の実施形態に係るドット検出及び同期処理の様子を示す図である。 本発明の実施形態に係る同期処理のより詳細な様子を説明する図である。 本発明の実施形態に係る単位符号パターン境界検出の様子を示す図である。 本発明の実施形態に係る部分画像から得る同期画像の様子を示す図である。 本発明の実施形態に係る他の部分画像から得る同期画像の様子を示す図である。 本発明の実施形態に係る部分画像の変更先の優先順位の例を示す図である。 本発明の実施形態に係る部分画像の小領域への分割の様子を示す図である。 本発明の実施形態に係る図２とは別の画像処理装置の処理概念を示す図である。

符号の説明

１０ 制御回路、１００ 画像処理部、１２０ 画像切り出し部、１２２ 切り出し領域制御部、１３０ ドット位置検出部、１３２ ドット整列角度検出部 、１３４ ドット同期化部、１３６ 単位符号パターン境界検出部、１３８ 同期符号検出部、１４０ 識別符号検出部、１４２ 位置符号検出部、１５０ 復号部、３００ 電子ペン、２５０ 撮像装置。

Claims (21)

1. 所定媒体に設けられた所定符号パターン画像を取得する画像取得部にて得られた入力画像の一部領域を部分画像として切り出す画像切り出し部と、
   前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定する切り出し領域制御部と、
   供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得する復号処理部と、を備え、
   前記切り出し領域制御部は、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記符号パターン画像は、複数のドットによるパターンを含み、
   前記切り出し領域制御部は、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記符号パターン画像は、複数のドットによるパターンを含み、
   前記切り出し領域制御部は、前記部分画像に含まれるドット分布を前記変更基準として前記切り出し領域を決定することを特徴とする画像処理装置。
4. 請求項１〜請求項３のいずれか一項に記載の画像処理装置において、
   前記切り出し領域制御部は、前記部分画像に含まれる画像コントラストを前記変更基準として、前記切り出し領域を決定することを特徴とする画像処理装置。
5. 請求項１〜請求項４のいずれか一項に記載の画像処理装置において、
   前記切り出し領域制御部は、前記部分画像に含まれる濃度を前記変更基準として、前記切り出し領域を決定することを特徴とする画像処理装置。
6. 請求項１〜請求項５のいずれか一項に記載の画像処理装置において、
   前記切り出し領域制御部は、
   前記部分画像を複数の小領域に分割し、前記複数の小領域のそれぞれで得られる所定の領域画像特徴が示す前記部分画像内での傾向に基づいて、前記入力画像からの切り出し領域の変更先を決定することを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記領域画像特徴は、前記複数の小領域内でのコントラストまたは濃度、または前記符号パターン画像に含まれるドット数またはドット密度の少なくともいずれかであることを特徴とする画像処理装置。
8. 請求項６又は請求項７に記載の画像処理装置において、
   前記切り出し領域制御部は、現在の部分画像の切り出し位置から、変更後の新たな切り出し位置への部分画像への移動距離を、前記領域画像特徴が示す前記部分画像内での傾向に応じて決定することを特徴とする画像処理装置。
9. 請求項１〜請求項５のいずれか一項に記載の画像処理装置において、
   前記切り出し領域制御部は、前記部分画像の前記画像特徴に基づいて、所定の複数の選択可能な領域の中から、前記部分画像の切り出し領域を選択することを特徴とする画像処理装置。
10. 請求項１〜請求項９のいずれか一項に記載の画像処理装置において、
    前記符号パターン画像は複数のドットによるパターンを有し、
    前記切り出し領域制御部は、前記ドットのパターンの整列角度に基づいて、前記部分画像の切り出し領域を決定することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記切り出し領域制御部は、前記整列角度に応じ、前記部分画像の切り出し領域の大きさを変更することを特徴とする画像処理装置。
12. 請求項１〜請求項１１のいずれか一項に記載の画像処理装置において、
    前記切り出し領域制御部は、前記復号処理部での前記部分画像に対する復号の失敗が検出されたことを前記変更基準として、前記入力画像からの前記部分画像の切り出し領域を変更することを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記切り出し領域制御部は、前記部分画像についての前記復号の失敗が複数回発生した前記切り出し領域を、前記入力画像から前記部分画像を切り出す領域の候補から除外することを特徴とする画像処理装置。
14. 所定媒体に設けられた所定符号パターン画像を取得する画像取得部と、
    前記画像取得部にて得られた入力画像の一部領域を部分画像として切り出す画像切り出し部と、
    前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定する切り出し領域制御部と、
    供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得する復号処理部と、を備え、
    前記切り出し領域制御部は、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更することを特徴とする電子ペン。
15. 請求項１４に記載の電子ペンにおいて、
    前記符号パターン画像は、複数のドットによるパターンを含み、
    前記切り出し領域制御部は、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定することを特徴とする電子ペン。
16. 請求項１４又は請求項１５に記載の電子ペンにおいて、
    前記切り出し領域制御部は、
    前記部分画像を複数の小領域に分割し、前記複数の小領域のそれぞれで得られる所定の領域画像特徴が示す前記部分画像内での傾向に基づいて、前記入力画像からの切り出し領域の変更先を決定することを特徴とする電子ペン。
17. 請求項１４〜請求項１６のいずれか一項に記載の電子ペンにおいて、
    前記切り出し領域制御部は、前記復号処理部での前記部分画像に対する復号の失敗が検出されたことを前記変更基準として、前記入力画像からの前記部分画像の切り出し領域を変更することを特徴とする電子ペン。
18. 請求項１４〜請求項１７のいずれか一項に記載の電子ペンにおいて、
    前記入力画像からの前記部分画像の切り出し領域からは、電子ペンのペン先領域が除外されていることを特徴とする電子ペン。
19. 請求項１４〜請求項１８のいずれか一項に記載の電子ペンにおいて、
    撮像素子を備える前記画像取得部と、
    前記画像切り出し部の機能を備え、前記撮像素子からの情報を処理して撮像画像を得る撮像画像処理部と、
    を備える撮像装置を有することを特徴とする電子ペン。
20. 画像取得部にて、所定媒体に設けられた所定符号パターン画像を取得させ、
    画像切り出し部にて、入力画像の一部領域を部分画像として切り出し、
    切り出し領域制御部にて、前記部分画像から得る所定の画像特徴に基づいて前記部分画像の切り出し領域を決定し、
    復号処理部にて、供給される前記部分画像を復号して前記符号パターン画像に応じた情報を取得し、
    前記切り出し領域制御部にて、前記画像特徴が所定変更基準の場合に、前記画像切り出し部における前記入力画像からの前記部分画像の切り出し領域を変更する処理を実行させることを特徴とするプログラム。
21. 請求項２０に記載のプログラムにおいて、
    前記符号パターン画像は、複数のドットによるパターンを含み、
    前記切り出し領域制御部にて、前記部分画像に含まれるドット数を前記変更基準として、前記切り出し領域を決定させることを特徴とするプログラム。