JP2009181340A - 位置検出装置及びプログラム - Google Patents
位置検出装置及びプログラム Download PDFInfo
- Publication number
- JP2009181340A JP2009181340A JP2008019746A JP2008019746A JP2009181340A JP 2009181340 A JP2009181340 A JP 2009181340A JP 2008019746 A JP2008019746 A JP 2008019746A JP 2008019746 A JP2008019746 A JP 2008019746A JP 2009181340 A JP2009181340 A JP 2009181340A
- Authority
- JP
- Japan
- Prior art keywords
- code
- information
- image
- pattern
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【解決手段】画像を読み取る画像読取部21と、画像からドットを検出してドット配列を生成するドット配列生成部22と、ドット配列からブロックを検出して符号配列を生成するブロック検出部23と、符号配列から同期符号を検出する同期符号検出部24と、同期符号に基づいて識別符号を検出する識別符号検出部30と、識別符号を復号して識別情報を取得する識別符号復号部32と、同期符号に基づいて座標符号を検出するX座標符号検出部40及びY座標符号検出部45と、座標符号を復号して座標情報を取得するX座標符号復号部42及びY座標符号復号部47と、ペン先の相対座標を撮像画像上から媒体上へ変換し座標情報に加えて媒体上のペン先座標を求める座標補正部50とを備える。
【選択図】図11
Description
本発明の目的は、媒体上の指示された位置と印刷画像を撮像して求めた位置との間にズレがあっても、媒体上の指示された位置を特定できるようにすることにある。
請求項2に記載の発明は、前記撮像画像から、前記第2の位置情報を取得するために用いる部分画像を抽出する抽出手段を更に備え、前記第1の情報取得手段は、前記部分画像の前記撮像画像に対する傾き角を示す角度情報を更に取得し、前記変換手段は、前記角度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項1記載の位置検出装置である。
請求項3に記載の発明は、前記部分画像は、四辺形であり、前記第1の情報取得手段は、前記部分画像の第1の辺の前記撮像画像に対する傾き角を示す第1の角度情報と、前記部分画像の当該第1の辺に隣接する第2の辺の前記撮像画像に対する傾き角を示す第2の角度情報とを、前記角度情報として取得することを特徴とする請求項2記載の位置検出装置である。
請求項4に記載の発明は、前記第1の情報取得手段は、前記撮像画像における尺度を示す尺度情報を更に取得し、前記変換手段は、前記尺度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項1記載の位置検出装置である。
請求項5に記載の発明は、前記撮像画像から、前記第2の位置情報を取得するために用いる四辺形の部分画像を抽出する抽出手段を更に備え、前記第1の情報取得手段は、前記部分画像の第1の辺に沿った前記撮像画像における尺度を示す第1の尺度情報と、前記部分画像の当該第1の辺に隣接する第2の辺に沿った前記撮像画像における尺度を示す第2の尺度情報とを、前記尺度情報として取得することを特徴とする請求項4記載の位置検出装置である。
請求項6に記載の発明は、前記印刷画像は、互いに異なる2つの方向に所定の間隔で設けられた領域のうちの選択された領域に単位画像を配置した画像であり、前記第1の情報取得手段は、前記撮像画像上の前記単位画像に対応する画像の間隔に基づいて、前記尺度情報を取得することを特徴とする請求項4記載の位置検出装置である。
請求項7に記載の発明は、コンピュータに、媒体に印刷された印刷画像を撮像した撮像画像を取得する機能と、前記撮像画像を含む平面上で、指示手段により指示された前記媒体上の位置に対応する位置の当該撮像画像に対する相対位置を示す第1の位置情報を取得する機能と、前記撮像画像を用いて前記媒体上の前記印刷画像の位置を示す第2の位置情報を取得する機能と、前記第1の位置情報を、前記指示手段により指示された前記媒体上の位置の前記印刷画像に対する相対位置を示す第3の位置情報に変換する機能と、前記第2の位置情報と、前記第3の位置情報とに基づいて、前記指示手段により指示された前記媒体上の位置を特定する機能とを実現させるためのプログラムである。
請求項8に記載の発明は、前記撮像画像から、前記第2の位置情報を取得するために用いる部分画像を抽出する機能と、前記部分画像の前記撮像画像に対する傾き角を示す角度情報を取得する機能とを更に前記コンピュータに実現させ、前記変換する機能では、前記角度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項7記載のプログラムである。
請求項9に記載の発明は、前記撮像画像における尺度を示す尺度情報を取得する機能を更に前記コンピュータに実現させ、前記変換する機能では、前記尺度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項7記載のプログラムである。
請求項2の発明は、印刷画像を撮像した撮像画像と媒体上の位置を求めるために撮像画像から抽出される部分画像との間に角度の違いがあっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項3の発明は、撮像画像から抽出される部分画像が例えば平行四辺形のように変形している場合であっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項4の発明は、印刷画像とそれを撮像した撮像画像との間に尺度の違いがあっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項5の発明は、撮像画像から抽出される部分画像が例えば平行四辺形のように変形している場合であっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項6の発明は、所定の領域に単位画像を配置した印刷画像が印刷された媒体上の指示された位置を特定する場合に、本構成を有していない場合に比較して、印刷画像とそれを撮像した撮像画像との間の尺度の違いを精度よく求めることができるという効果を有する。
請求項7の発明は、媒体上の指示された位置と印刷画像を撮像して求めた位置との間にズレがあっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項8の発明は、印刷画像を撮像した撮像画像と媒体上の位置を求めるために撮像画像から抽出される部分画像との間に角度の違いがあっても、媒体上の指示された位置を特定することができるという効果を有する。
請求項9の発明は、印刷画像とそれを撮像した撮像画像との間に尺度の違いがあっても、媒体上の指示された位置を特定することができるという効果を有する。
まず、本実施の形態で利用する符号化方式について説明する。
本実施の形態における符号化方式では、m(m≧3)箇所から選択したn(1≦n<m)箇所に単位画像を配置してなるパターン画像(以下、「符号パターン」という)によってmCn(=m!/{(m−n)!×n!})通りの情報を表現する。つまり、1つの単位画像を情報に対応させるのではなく、複数の単位画像を情報に対応させている。仮に1つの単位画像を情報に対応させたとすると、単位画像が欠損したり、ノイズが加わったりした場合に、誤った情報を表現してしまうという欠点がある。これに対して、例えば2つの単位画像を情報に対応させたとすると、単位画像が1つであったり3つであったりした場合に、容易に誤りであることが分かる。更に、1つの単位画像で1ビット、又は、高々2ビットを表現する方法では、情報を表現するための情報パターンと視覚的に似たパターンで、情報パターンの読出しを制御する同期パターンを表現することができない。このようなことから、本実施の形態では、上記のような符号化方式を採用している。以下では、このような符号化方式をmCn方式と称する。
ここで、単位画像としては、如何なる形状のものを用いてもよい。本実施の形態では、単位画像の一例としてドット画像(以下、単に「ドット」という)を用いるが、例えば、斜線パターン等、他の形状の画像であってもよい。
図では、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図1は、縦3×横3の合計9個のドット配置可能な領域を設けた例を示しており、このうち、(a)は、9個のドット配置可能な領域に2ドットを配置する9C2方式における符号パターンの一例を、(b)は、9個のドット配置可能な領域に3ドットを配置する9C3方式における符号パターンの一例を示している。
また、パターンブロックの形状として、正方形でなく、例えば3ドット×4ドットを配置する場合のように長方形を採用してもよい。尚、本明細書において、長方形とは、隣り合う2辺の長さが等しくない矩形、つまり、正方形以外の矩形のことをいうものとする。
更に、任意に決めた数のドット配置可能な領域のうち、幾つの領域にドットを配置するかも、表現したい情報の量と許容できる画像濃度とを考慮して、適宜決めるとよい。
図4(a)は、9C2方式における同期パターンの例である。ここでは、36種類の符号パターンのうち、32種類の符号パターンを5ビットの情報を表現する情報パターンとし、残りの4種類の符号パターンで1組の同期パターンを構成するものとする。例えば、パターン値「32」の符号パターンを正立した同期パターン、パターン値「33」の符号パターンを右に90度回転した同期パターン、パターン値「34」の符号パターンを右に180度回転した同期パターン、パターン値「35」の符号パターンを右に270度回転した同期パターンとしている。但し、36種類の符号パターンの情報パターンと同期パターンへの振り分け方は、これには限らない。例えば、16種類の符号パターンを4ビットの情報を表現する情報パターンとし、残りの20種類の符号パターンで5組の同期パターンを構成してもよい。
図5は、符号ブロックのレイアウトの一例を示したものである。
図中、(a)及び(b)のそれぞれの右側に、符号ブロックのレイアウトを示している。ここでは、レイアウトとして、パターンブロックを5個×5個の25個並べたものを採用している。この25個のパターンブロックのうち、左上の1ブロックに同期パターンを配置している。また、同期パターンの右の4ブロックに紙面上の横方向の座標を特定するX座標情報を表す情報パターンを配置し、同期パターンの下の4ブロックに紙面上の縦方向の座標を特定するY座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた16ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。
(a)は、11次のM系列の例として、「0111000101011010000110010…」というビット列を示している。本実施の形態では、これを4ビットずつに区切り、1つ目の部分列「0111」をパターン値「7」の符号パターンとして、2つ目の部分列「0001」をパターン値「1」の符号パターンとして、3つ目の部分列「0101」をパターン値「5」の符号パターンとして、4つ目の部分列「1010」をパターン値「10」の符号パターンとして、それぞれ紙面上に配置する。
尚、本実施の形態における符号パターンの利用形態としては、例えば、文書画像に重ねてその識別情報を紙面に印刷し、ペン状のスキャナで紙面上の部分画像を読み込み、そこから文書画像の識別情報を取得する、といったものが想定される。この場合、紙面上の汚れやスキャナの性能によって誤りが発生するが、この誤りはRS符号により訂正される。
本実施の形態では、上述したように、1パターンブロック内のドット数が一定である符号パターンを採用している。これにより、仮に1ドットが消失した場合や、1ドットが付加された場合は、パターンブロック内のドット数が変わる。従って、これらは誤りだと分かる誤りとなる。一方で、ドットの消失と付加が同時に起こった場合は、他の符号パターンであると誤認識してしまうので、誤りだと分からない誤りとなる。
例えば、識別情報を表す情報パターンを配置する16ブロックのうち、10ブロックを識別情報そのものを表す情報パターンを配置するブロックとし、6ブロックを訂正のためのブロックとする。この場合、誤りだと分かるブロックは6ブロックまで、誤りだと分からないブロックも3ブロックまで、訂正される。これを例えば9C2方式における32種類の情報パターンで実現したとすると、1ブロックで5ビットの情報が表現されるので、識別情報そのものは10ブロックで50ビット分表現される。また例えば9C3方式における64種類の情報パターンで実現したとすると、1ブロックで6ビットの情報が表現されるので、識別情報そのものは10ブロックで60ビット分表現される。
図7は、そのようなレイアウトの一例を示した図である。このレイアウトでは、図5の符号ブロックが基本単位として紙面全体の縦方向及び横方向に周期的に配置されている。
ここで、同期パターンとしては、同じ符号パターンが各符号ブロックにおける左上のパターンブロックに配置されている。図では、同期パターンを「S」で表している。
また、X座標情報としては、符号パターンの同じ並びが、同期パターンが配置されたのと同じ行の各パターンブロックに配置されている。Y座標情報としては、符号パターンの同じ並びが、同期パターンが配置されたのと同じ列の各パターンブロックに配置されている。図では、X座標情報を表すパターンを「X01」、「X02」、…で表し、Y座標情報を表すパターンを「Y01」、「Y02」、…で表している。
更に、識別情報としては、符号パターンの同じ配列が、縦方向及び横方向に周期的に配置されている。図では、識別情報を表すパターンを「I01」、「I02」、…、「I16」で表している。
そして、このようなレイアウトを採用することにより、例えば、図中、丸印で示した範囲が読み取られた場合のように、図5の符号ブロックの全体を含む範囲が読み取られていない場合であっても、後述する処理により、識別情報及び座標情報が得られる。
ここで、特殊トナーとしては、可視光領域(400nm〜700nm)における最大吸収率が7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が30%以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
以下、このズレの発生について具体的に説明する。
図8は、この説明のためのペンデバイスの概略図である。
図示するように、ペンデバイスの中心を通るペン中心線が紙面と交差する点(ペン先中心)と、撮像素子の中心を通る撮像素子中心線が紙面と交差する点(撮像領域中心)との間には、ペンデバイスに固有のズレIPがある。
図9は、ペンデバイスの撮像素子が撮像した領域(以下、「撮像領域」という)上に、ペンデバイスが復号のために読み込む領域(以下、「読み込み領域」という)と、その領域の中心点(以下、「読み込み領域中心」という)と、ペンデバイスのペン先が指示する点(以下、「ペン先中心」という)とを示した図である。
1つは、撮像画像上の座標系である。この座標系では、撮像領域の横枠に平行にX軸をとり、右方向をXの正方向とし、撮像領域の縦枠に平行にY軸をとり、下方向をYの正方向とする。尚、図では、撮像画像上のX軸を「XCCD」と表記し、撮像画像上のY軸を「YCCD」と表記している。
もう1つは、符号画像上の座標系である。これは、撮像画像上の各点に対応する紙面上の各点を表すための座標系である。この座標系では、ドットの列の1つの方向に平行にX軸をとり、右方向をXの正方向とし、ドットの列の別の1つの方向に平行にY軸をとり、下方向をYの正方向とする。尚、図では、符号画像上のX軸を「XCODE」と表記し、符号画像上のY軸を「YCODE」と表記している。
即ち、読み込み領域中心をCとし、ペン先中心をPとし、PのCに対する相対座標を(PX,PY)とする。また、符号画像上のX軸の傾き角をθX、符号画像上のY軸の傾き角をθYとする。ここで、これらの傾き角は、撮像領域の垂直線、つまり、撮像画像上のY軸の負方向を基準とし、θXは時計回りを、θYは反時計回りをそれぞれ正方向として表す。更に、符号画像上のX軸の方向のドットの間隔をdXとし、符号画像上のY軸の方向のドットの間隔をdYとする。
まず、図9において、Pから符号画像上のX軸に下ろした垂線の足の符号画像上での座標を(HX,0)、符号画像上のY軸に下ろした垂線の足の符号画像上での座標を(0,HY)とする。すると、PX、PY、HX、HY、θX、θYの間には、次のような関係が成り立つ。
ここで、撮像画像上の読み込み領域中心に対応する符号画像上の点をCとし、ペン先中心Pに対応する符号画像上の点をQとし、QのCに対する相対座標を(QX,QY)とする。すると、QX、QYは、上記で求めたHX、HYにドットの間隔に関する補正を施すことにより、次のように求められる。
以下、このような紙面上のペン先中心の座標の算出について、より詳細に説明する。尚、本実施の形態では、如何なるmCn方式を利用してもよいが、以降の説明においては、簡単のため、9C2方式の利用を前提とする。また、以下では、パターンブロックのことを単に「ブロック」ともいう。
図11は、画像処理装置20の構成例を示したブロック図である。
図示するように、画像処理装置20は、画像読取部21と、ドット配列生成部22と、ブロック検出部23と、同期符号検出部24とを備える。また、識別符号検出部30と、識別符号復号部32と、X座標符号検出部40と、X座標符号復号部42と、Y座標符号検出部45と、Y座標符号復号部47と、座標補正部50と、情報出力部55とを備える。
ドット配列生成部22は、読み取った符号画像からドットを検出し、ドットの位置を参照して、ドット配列を生成する。尚、符号画像からのドット検出の前処理として、読み取った画像に含まれるノイズを除去するための処理も行う。ここで、ノイズには、例えば、撮像素子感度のばらつきや電子回路により発生するノイズがある。ノイズ除去の処理の種類は、撮像系の特性に合わせるべきだが、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用するとよい。また、ドットの検出は、次のように行う。即ち、まず、2値化処理によりドット画像の部分と、その他の背景画像の部分とを切り分け、2値化された個々の画像位置からドットの位置を検出する。その際、2値化された画像にノイズ成分が多数含まれる場合があるため、2値化された画像の面積や形状によりドットの判定を行うフィルタ処理を組み合わせる必要がある。その後、ドット配列の生成は、2次元の配列上で、例えば、ドットがある位置を「1」、ドットがない位置を「0」というように、画像として検出したドットをデジタルデータに置き換えることにより行う。本実施の形態では、撮像画像を取得する画像取得手段の一例として、また、部分画像を抽出する抽出手段の一例として、ドット配列生成部22を設けている。更に、撮像画像を含む平面上での媒体上の指示された位置の相対位置を示す第1の位置情報の一例として、ペン先中心の読み込み領域中心に対する相対座標(PX,PY)を用い、第1の位置情報を取得する第1の情報取得手段の一例として、ドット配列生成部22を設けている。
識別符号復号部32は、上述したRS符号の符号化処理で用いたパラメータ(ブロック数等)と同じパラメータを用いて識別符号を復号し、識別情報を出力する。
X座標符号復号部42は、検出されたX座標符号からM系列の部分系列を取り出し、画像生成に使用したM系列におけるこの部分系列の位置を参照し、この位置を符号ブロックのシフト量で補正した値をX座標情報として出力する。本実施の形態では、媒体上の印刷画像の位置を示す第2の位置情報の一例として、X座標情報を用い、第2の位置情報を取得する第2の情報取得手段の一例として、X座標符号復号部42を設けている。
Y座標符号復号部47は、検出されたY座標符号からM系列の部分系列を取り出し、画像生成に使用したM系列におけるこの部分系列の位置を参照し、この位置を符号ブロックのシフト量で補正した値をY座標情報として出力する。本実施の形態では、媒体上の印刷画像の位置を示す第2の位置情報の一例として、Y座標情報を用い、第2の位置情報を取得する第2の情報取得手段の一例として、Y座標符号復号部47を設けている。
情報出力部55は、識別符号復号部32、座標補正部50からそれぞれ取得した識別情報、ペン先中心のX座標情報及びY座標情報を出力する。
まず、画像読取部21が、紙面に印刷された符号画像を撮像素子で読み取る。
このようにしてドットの検出に適した領域を切り出すと、ドット配列生成部22は、その領域の中からドットを検出する。
図12(a)に、ドットの列の傾き角を求める方法の一例を示す。
まず、左側の図に示すように、近接するドット対を結ぶ直線の傾き角を幾つか求める。そして、それらの傾き角の中から第1軸角度、第2軸角度、第3軸角度を選択し、右側の図に示すように設定する。ここで、第1軸角度は、最も頻度が多い傾き角である。第2軸角度は、第1軸角度から90度オフセットした角度近傍で最も頻度が高い傾き角である。第3軸角度は、第1軸角度から90度オフセットした角度に対する第2軸角度の対称角度近傍で最も頻度が高い傾き角である。そして、例えば、第1軸角度と、第2軸角度及び第3軸角度のうち第1軸角度から90度オフセットした角度に最も近い角度とを、ドットの列の2つの傾き角とする。
まず、左上の図に示すように、ドットの座標を同期原点からの相対座標に変換する。図において、縦軸と横軸の交点が同期原点であり、例えば、検出された複数のドットの重心に最も近いドットを同期原点に設定するとよい。次に、右上の図に示すように、ドットの座標をθ回転する。更に、右下の図に示すように、回転後のドットの座標に格子を当てはめ、例えば、縦の格子からのドットの座標のずれ量を算出する。そして、左下の図に示すように、同じ列のドットごとに分散を計算して積算し、分散が最小となるθを傾き角とする。尚、傾き角は、X方向とY方向について独立に推定するのが好ましい。
図13は、ドット配列生成部22によるドット画像からドット配列への変換を示した図である。図示するように、ドット配列生成部22は、読み込み領域内の17×17のドットを、17×17のドットの配列へと変換する。この配列の各要素には、対応する位置にドットがあれば「1」が、対応する位置にドットがなければ「0」が格納される。尚、この際、復号処理のために切り出した17ドット×17ドットの読み込み領域の中心の撮像領域中心からのズレが分かる。そこで、このズレの情報と、予め分かっているペン先中心と撮像領域中心のズレの情報とから、ペン先中心の読み込み領域中心に対する相対座標(PX,PY)を求め、図示しないメモリに記憶しておく。
図14は、ブロックフレームを移動させてパターンブロックを検出する際の処理を具体的に示した図である。ここでは、9C2方式で符号化が行われたことが分かっており、9C2方式で復号する場合について示している。
まず、ブロック検出部23は、ドット配列生成部22からドット配列を取得する。ここで取得するドット配列のサイズは予め設定されており、(復号に必要なパターンブロック数×パターンブロックの一辺のドット数+パターンブロックの一辺のドット数−1)2である。ところが、このドット配列は、画像の任意に選択された領域に対応しているので、パターンブロックの区切り位置は分からない。そこで、まず、ドット配列の端を検出開始位置としてブロックフレームを重ねる。この例では、m=9なので、3ドット×3ドットの大きさのフレームを含むブロックフレームを重ねる。次に、各フレーム内のドットを数える。この例では、n=2なので、各フレーム内に2ドットずつ存在する場合のブロックフレームの位置が、パターンブロックの区切り位置を示す。しかしながら、この位置ではドット数がばらついているので、パターンブロックの区切り位置ではないことが分かる。そこで、ブロックフレームをずらしてフレーム内のドット数を数える。即ち、開始位置、右方向へ1ドット分移動した位置、右方向へ2ドット分移動した位置においてドットを数える。また、これらの位置のそれぞれに対し、下方向へ1ドット分移動した位置、下方向へ2ドット分移動した位置においてもドットを数える。その結果、右方向へ1ドット分移動し、下方向へ2ドット分移動した位置において、全てのフレーム内のドット数が「2」となる。従って、このときのブロックフレームの位置がパターンブロックの区切り位置であることが分かる。
ここでは、太線で示した位置にブロックフレームを重ねた場合に、全てのブロックに2つの「1」が含まれるので、この位置がパターンブロックの区切り位置となっている。また、ブロックの検出はどの位置から開始してもよいが、ここでも、ドット配列の左上を起点としており、この起点からパターンブロックの区切り位置を見つけるまでのブロックフレームの移動量を、X方向にMXドット、Y方向にMYドットとしている。図では、MX=0、MY=1である。以下、ブロックの区切り位置が見つかったときにブロックフレームが重なっている5ブロック×5ブロックの領域(図の太線の枠内の部分)を「復号領域」と称する。
図16は、各パターンブロックにパターン値を割り当てた場合の例を示した図である。
例えば、左上のブロックでは、ブロック内の左上と右下にドットがあることが示されているので、図2の対応からパターン値「0」となる。また、その右のブロックでは、ブロック内の左上と右中央にドットがあることが示されているので、図2の対応からパターン値「12」となる。
図17は、ブロック検出部23の動作例を示したフローチャートである。
まず、ブロック検出部23は、ドット配列生成部22からドット配列を取得する(ステップ201)。このドット配列の大きさは、(復号に必要なブロック数×ブロックの一辺のドット数+ブロックの一辺のドット数−1)2である。本実施の形態では、復号に必要なブロック数は5×5であり、ブロックの一辺のドット数が3であるので、17×17のドット配列を取得する。
ここで、I=2でない場合には、Iに「1」を加算する(ステップ209)。そして、ステップ204、205の処理を繰り返し行い、IB[I,J]とMaxBNとを比較していく(ステップ206)。
IB[I,J]が前回までのIB[I,J]の最大値であるMaxBNよりも大きいと、MaxBNにIB[I,J]の値を代入し、そのときのIの値をMXに、Jの値をMYに代入する(ステップ207)。また、MaxBNのほうがIB[I,J]よりも大きい場合には、I=2であるかどうかを判定する(ステップ208)。I=2となると、次にJ=2であるかどうかを判定する(ステップ210)。J=2でない場合には、Iに「0」を代入し、Jに「1」を加算する(ステップ211)。このような手順を繰り返し行い、(I,J)が(0,0)から(2,2)までで、IB[I,J]が最大のものを検出する。
ここで、MaxBNが閾値TBよりも大きい場合には、ブロックフレームをMX、MYの位置に固定し、その位置で各ブロックのパターン値を検出する。そして、検出したパターン値を、各ブロックを識別する変数X、Yと共に符号配列PA[X,Y]としてメモリに記録する(ステップ213)。尚、このとき、対応するパターン値に変換することができなければ、パターン値として用いられていない「−1」を記録する。そして、ブロック検出部23は、MX、MYと、符号配列PA[X,Y]とを同期符号検出部24に出力する(ステップ214)。
一方、MaxBNが閾値TB以下である場合には、画像のノイズが大きく復号は不可能と判定し、復号不能を出力する(ステップ215)。
図4を参照すると、パターン値「35」の同期パターンは、正立した同期パターンであるパターン値「32」の同期パターンを右に270度回転した同期パターンである。従って、符号配列を正立した方向にするには、符号配列を左に270度回転する必要がある。その場合、符号配列内の各要素のパターン値は、左に270度回転した場合のパターン値に変更する必要がある。
また、符号配列を回転させた場合、復号領域から読み込み領域への変換に用いる値も異なってくる。つまり、復号領域の左上点から読み込み領域の左上点までのピクセル数を、符号座標上のX軸方向にRDX、符号画像上のY軸方向にRDYとすると、これらの値として異なる値を用いる必要がある。そこで、同期符号検出部24は、図19(b)に示すように、各同期パターンに対し、回転角度に加え、RDX及びRDYの値を図示しないメモリに記憶しておく。
図20は、同期符号検出部24の動作例を示したフローチャートである。
まず、同期符号検出部24は、ブロック検出部23からMX、MYと、符号配列PA[X,Y]とを取得する(ステップ251)。
次に、同期符号検出部24は、K、Lに「1」を代入する(ステップ252)。尚、KはX方向のブロック数を示すカウンタであり、LはY方向のブロック数を示すカウンタである。
PA[K,L]のパターン値が「32」であれば、符号配列PA[X,Y]の回転は必要ないと判定し、同期符号のあるブロックのX座標SXにKを代入し、Y座標SYにLを代入する。また、ブロックフレームのX方向への移動量ShiftXにMXを代入し、Y方向への移動量ShiftYにMYを代入する(ステップ254)。
PA[K,L]のパターン値が「33」であれば、符号配列PA[X,Y]を左方向に90度回転させる(ステップ256)。図4(a)に示すようにパターン値「33」の符号パターンは、パターン値「32」の符号パターンを右方向に90度回転させた画像であるので、逆方向に90度回転させて画像を正立させている。尚、このとき、符号配列PA[X,Y]内の全てのパターン値が、左方向に90度回転させた場合のパターン値に変換される。
また、この回転に伴って、同期符号のあるブロックのX座標SXにLを代入し、Y座標SYに6−Kを代入する。また、ブロックフレームのX方向への移動量ShiftXにMYを代入し、Y方向への移動量ShiftYに2−MXを代入する(ステップ257)。
PA[K,L]のパターン値が「34」であれば、符号配列PA[X,Y]を左方向に180度回転させる(ステップ259)。図4(a)に示すようにパターン値「34」の符号パターンは、パターン値「32」の符号パターンを180度回転させた画像であるので、パターン値「34」の符号パターンを180度回転させて画像を正立させている。尚、このとき、符号配列PA[X,Y]内の全てのパターン値が、180度回転させた場合のパターン値に変換される。
また、この回転に伴って、同期符号のあるブロックのX座標SXに6−Kを代入し、Y座標SYに6−Lを代入する。また、ブロックフレームのX方向への移動量ShiftXに2−MXを代入し、Y方向への移動量ShiftYに2−MYを代入する(ステップ260)。
PA[K,L]のパターン値が「35」であれば、符号配列PA[X,Y]を左方向に270度回転させる(ステップ262)。図4(a)に示すようにパターン値「35」の符号パターンは、パターン値「32」の符号パターンを右に270度回転させた画像であるので、逆方向に270度回転させて画像を正立させている。尚、このとき、符号配列PA[X,Y]内の全てのパターン値が、左方向に270度回転させた場合のパターン値に変換される。
また、この回転に伴って、同期符号のあるブロックのX座標SXに6−Lを代入し、Y座標SYにKを代入する。また、ブロックフレームのX方向への移動量ShiftXに2−MYを代入し、Y方向への移動量ShiftYにMXを代入する(ステップ263)。
また、PA[K,L]がパターン値「32」〜「35」のいずれでもなければ、同期符号検出部24は、K=5であるかどうかを判定する(ステップ265)。K=5でない場合には、Kに「1」を加算し(ステップ266)、ステップ253に戻る。K=5であれば、L=5であるかどうかを判定する(ステップ267)。L=5でない場合には、Kに「1」を代入し、Lに「1」を加算し(ステップ268)、ステップ253に戻る。即ち、ステップ253〜264の処理を、パターン値「32」〜「35」のブロックを検出するまでK、Lの値を変更しながら繰り返し行う。また、K=5、L=5になっても、パターン値「32」〜「35」のブロックを検出することができなかった場合には、復号不能の判定信号を出力する(ステップ269)。
図21は、識別符号検出部30及び識別符号復号部32の動作例を示したフローチャートである。
まず、識別符号検出部30は、同期符号検出部24から符号配列PA[X,Y]、SX、SYを取得する(ステップ301)。
次に、識別符号検出部30は、識別符号配列IA[X,Y]の全ての要素を「−1」で初期化する(ステップ302)。尚、この「−1」は、パターン値として用いられていない番号とする。そして、符号ブロックにおける各ブロックを識別するためのカウンタIX、IYに「1」を代入する(ステップ303)。ここで、IXは、X方向のブロック数を示すカウンタであり、IYは、Y方向のブロック数を示すカウンタである。
ここで、IY−SYが「5」で割り切れた場合、つまり、この行に同期符号が配置されている場合は、識別符号を取り出す対象ではないため、IYに「1」を加算し(ステップ305)、ステップ304へ進む。
一方、IY−SYが「5」で割り切れなかった場合、つまり、この行に同期符号が配置されていない場合は、IX−SXが「5」で割り切れるかどうかを判定する(ステップ306)。即ち、IXで特定される列に同期符号が配置されているかどうかを判定する。
一方、IX−SXが「5」で割り切れなかった場合、つまり、この列に同期符号が配置されていない場合、識別符号検出部30は、IA[(IX−SX)mod5,(IY−SY)mod5]にPA[IX,IY]を代入する(ステップ308)。
ここで、IX=5でない場合には、IXに「1」を加算して(ステップ307)、ステップ306〜308の処理をIX=5となるまで繰り返し行う。また、IX=5となると、次に、IY=5であるかどうかを判定する(ステップ310)。IY=5でない場合には、IXに「1」を代入し(ステップ311)、IYに「1」を加算して(ステップ305)、ステップ304〜309の処理をIY=5となるまで繰り返し行う。また、IY=5となると、識別符号復号部32の処理に移る。
ここで、IA[X,Y]を復号できると判定すると、識別符号復号部32は、IA[X,Y]から識別情報を得る(ステップ313)。また、IA[X,Y]を復号できないと判定すると、識別情報にN/Aを代入する(ステップ314)。
図22は、X座標符号検出部40及びX座標符号復号部42の動作例を示したフローチャートである。
まず、X座標符号検出部40は、同期符号検出部24から符号配列PA[X,Y]、SX、SY、ShiftX、ShiftYを取得する(ステップ401)。
次に、X座標符号検出部40は、X座標符号配列XA[X]の全ての要素を「−1」で初期化する(ステップ402)。尚、この「−1」は、パターン値として用いられていない番号とする。そして、符号ブロックにおける各ブロックを識別するためのカウンタIX、IYに「1」を代入する。ここで、IXは、X方向のブロック数を示すカウンタであり、IYは、Y方向のブロック数を示すカウンタである。更に、X座標符号検出部40は、X座標符号配列における各要素を識別するためのカウンタKXにも「1」を代入する(ステップ403)。
ここで、IY−SYが「5」で割り切れなかった場合、つまり、この行に同期符号が配置されていない場合は、X座標符号を取り出す対象ではないため、IYに「1」を加算し(ステップ405)、ステップ404へ進む。
一方、IY−SYが「5」で割り切れた場合、つまり、この行に同期符号が配置されている場合、X座標符号検出部40は、IX−SXが「5」で割り切れるかどうかを判定する(ステップ406)。即ち、IXで特定される列に同期符号が配置されているかどうかを判定する。
一方、IX−SXが「5」で割り切れなかった場合、つまり、この列に同期符号が配置されていない場合、X座標符号検出部40は、XA[KX]にPA[IX,IY]を代入する(ステップ408)。
ここで、IX=5でない場合には、KXに「1」を加算し(ステップ410)、IXに「1」を加算して(ステップ407)、ステップ406〜408の処理をIX=5となるまで繰り返し行う。また、IX=5となると、X座標符号復号部42の処理に移る。
ここで、XA[X]を復号できると判定すると、X座標符号復号部42は、XA[X]とShiftXからX座標情報を復号する(ステップ412)。また、XA[X]が復号できないと判定された場合は、X座標情報にN/Aを代入する(ステップ413)。
図23は、座標補正部50の動作例を示したフローチャートである。
まず、座標補正部50は、撮像画像上での読み込み領域中心に対するペン先中心の相対座標(PX,PY)と、撮像領域に対する読み込み領域の傾き角(θX,θY)と、撮像画像上のドットの間隔(dX,dY)とを取得する(ステップ501)。ここで、(PX,PY)、(θX,θY)、(dX,dY)は、ドット配列生成部22がドットを検出した際にメモリに記憶しているので、それを読み出す。そして、符号画像上での読み込み領域中心に対するペン先中心の相対座標(QX,QY)を算出する(ステップ502)。ここで、(QX,QY)は、先にも述べた通り、次の式により算出される。
また、座標補正部50は、X座標符号復号部42から符号ブロックの左端のパターンブロックの位置BXを取得すると共に、Y座標符号復号部47から符号ブロックの上端のパターンブロックの位置BYを取得する(ステップ504)。
DSX=(BX−1)×12+1
DSY=(BY−1)×12+1
により求められる。
RSX=DSX+RDX
RSY=DSY+RDY
により求められる。
CRX=RSX+DAW/2
CRY=RSY+DAH/2
により求められる。
PPX=CRX+QX
PPY=CRY+QY
により求められる。
以上により、本実施の形態の動作の説明を終了する。
まず、画像処理装置20を実現するペンデバイス60について説明する。
図24は、ペンデバイス60の機構を示した図である。
図示するように、ペンデバイス60は、ペン全体の動作を制御する制御回路61を備える。また、制御回路61は、入力画像から検出した符号画像を処理する画像処理部61aと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部61bとを含む。
そして、制御回路61には、ペンデバイス60による筆記動作をペンチップ69に加わる圧力によって検出する圧力センサ62が接続されている。また、媒体上に赤外光を照射する赤外LED63と、画像を入力する赤外CMOS64も接続されている。更に、識別情報及び位置情報を記憶するための情報メモリ65と、外部装置と通信するための通信回路66と、ペンを駆動するためのバッテリ67と、ペンの識別情報(ペンID)を記憶するペンIDメモリ68も接続されている。
図25は、コンピュータ90のハードウェア構成を示した図である。
図示するように、コンピュータ90は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92及び磁気ディスク装置(HDD:Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ92は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置93は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ90は、外部との通信を行うための通信I/F94と、ビデオメモリやディスプレイ等からなる表示機構95と、キーボードやマウス等の入力デバイス96とを備える。
Claims (9)
- 媒体上の位置を指示する指示手段と、
前記媒体に印刷された印刷画像を撮像した撮像画像を取得する画像取得手段と、
前記撮像画像を含む平面上で、前記指示手段により指示された前記媒体上の位置に対応する位置の当該撮像画像に対する相対位置を示す第1の位置情報を取得する第1の情報取得手段と、
前記撮像画像を用いて前記媒体上の前記印刷画像の位置を示す第2の位置情報を取得する第2の情報取得手段と、
前記第1の位置情報を、前記指示手段により指示された前記媒体上の位置の前記印刷画像に対する相対位置を示す第3の位置情報に変換する変換手段と、
前記第2の位置情報と、前記第3の位置情報とに基づいて、前記指示手段により指示された前記媒体上の位置を特定する特定手段と
を備えたことを特徴とする位置検出装置。 - 前記撮像画像から、前記第2の位置情報を取得するために用いる部分画像を抽出する抽出手段を更に備え、
前記第1の情報取得手段は、前記部分画像の前記撮像画像に対する傾き角を示す角度情報を更に取得し、
前記変換手段は、前記角度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項1記載の位置検出装置。 - 前記部分画像は、四辺形であり、
前記第1の情報取得手段は、前記部分画像の第1の辺の前記撮像画像に対する傾き角を示す第1の角度情報と、前記部分画像の当該第1の辺に隣接する第2の辺の前記撮像画像に対する傾き角を示す第2の角度情報とを、前記角度情報として取得することを特徴とする請求項2記載の位置検出装置。 - 前記第1の情報取得手段は、前記撮像画像における尺度を示す尺度情報を更に取得し、
前記変換手段は、前記尺度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項1記載の位置検出装置。 - 前記撮像画像から、前記第2の位置情報を取得するために用いる四辺形の部分画像を抽出する抽出手段を更に備え、
前記第1の情報取得手段は、前記部分画像の第1の辺に沿った前記撮像画像における尺度を示す第1の尺度情報と、前記部分画像の当該第1の辺に隣接する第2の辺に沿った前記撮像画像における尺度を示す第2の尺度情報とを、前記尺度情報として取得することを特徴とする請求項4記載の位置検出装置。 - 前記印刷画像は、互いに異なる2つの方向に所定の間隔で設けられた領域のうちの選択された領域に単位画像を配置した画像であり、
前記第1の情報取得手段は、前記撮像画像上の前記単位画像に対応する画像の間隔に基づいて、前記尺度情報を取得することを特徴とする請求項4記載の位置検出装置。 - コンピュータに、
媒体に印刷された印刷画像を撮像した撮像画像を取得する機能と、
前記撮像画像を含む平面上で、指示手段により指示された前記媒体上の位置に対応する位置の当該撮像画像に対する相対位置を示す第1の位置情報を取得する機能と、
前記撮像画像を用いて前記媒体上の前記印刷画像の位置を示す第2の位置情報を取得する機能と、
前記第1の位置情報を、前記指示手段により指示された前記媒体上の位置の前記印刷画像に対する相対位置を示す第3の位置情報に変換する機能と、
前記第2の位置情報と、前記第3の位置情報とに基づいて、前記指示手段により指示された前記媒体上の位置を特定する機能と
を実現させるためのプログラム。 - 前記撮像画像から、前記第2の位置情報を取得するために用いる部分画像を抽出する機能と、
前記部分画像の前記撮像画像に対する傾き角を示す角度情報を取得する機能と
を更に前記コンピュータに実現させ、
前記変換する機能では、前記角度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項7記載のプログラム。 - 前記撮像画像における尺度を示す尺度情報を取得する機能を更に前記コンピュータに実現させ、
前記変換する機能では、前記尺度情報を用いて、前記第1の位置情報を前記第3の位置情報に変換することを特徴とする請求項7記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019746A JP4985436B2 (ja) | 2008-01-30 | 2008-01-30 | 位置検出装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019746A JP4985436B2 (ja) | 2008-01-30 | 2008-01-30 | 位置検出装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009181340A true JP2009181340A (ja) | 2009-08-13 |
JP4985436B2 JP4985436B2 (ja) | 2012-07-25 |
Family
ID=41035276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008019746A Active JP4985436B2 (ja) | 2008-01-30 | 2008-01-30 | 位置検出装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4985436B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014232544A (ja) * | 2014-07-22 | 2014-12-11 | グリッドマーク株式会社 | 手書き入出力システムおよび光学読取装置 |
JP2015531060A (ja) * | 2012-07-27 | 2015-10-29 | オリバ ジョビン イボン エス. アー. エス. | 局所測定を用いた試料の特徴付けのための装置及び方法 |
CN110956660A (zh) * | 2018-09-26 | 2020-04-03 | 深圳市优必选科技有限公司 | 定位方法、机器人以及计算机存储介质 |
CN114459434A (zh) * | 2022-01-28 | 2022-05-10 | 青岛罗博科技有限公司 | 一种点阵笔倾角检测方法、系统及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293303A (ja) * | 1999-02-03 | 2000-10-20 | Ricoh Co Ltd | 座標入力装置、情報処理システムおよび媒体 |
JP2005173672A (ja) * | 2003-12-08 | 2005-06-30 | Laboratories Of Image Information Science & Technology | 用紙、電子ペンおよびプログラム |
JP2008299508A (ja) * | 2007-05-30 | 2008-12-11 | Fuji Xerox Co Ltd | 位置検出装置及びプログラム |
-
2008
- 2008-01-30 JP JP2008019746A patent/JP4985436B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293303A (ja) * | 1999-02-03 | 2000-10-20 | Ricoh Co Ltd | 座標入力装置、情報処理システムおよび媒体 |
JP2005173672A (ja) * | 2003-12-08 | 2005-06-30 | Laboratories Of Image Information Science & Technology | 用紙、電子ペンおよびプログラム |
JP2008299508A (ja) * | 2007-05-30 | 2008-12-11 | Fuji Xerox Co Ltd | 位置検出装置及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015531060A (ja) * | 2012-07-27 | 2015-10-29 | オリバ ジョビン イボン エス. アー. エス. | 局所測定を用いた試料の特徴付けのための装置及び方法 |
JP2014232544A (ja) * | 2014-07-22 | 2014-12-11 | グリッドマーク株式会社 | 手書き入出力システムおよび光学読取装置 |
CN110956660A (zh) * | 2018-09-26 | 2020-04-03 | 深圳市优必选科技有限公司 | 定位方法、机器人以及计算机存储介质 |
CN110956660B (zh) * | 2018-09-26 | 2023-10-10 | 深圳市优必选科技有限公司 | 定位方法、机器人以及计算机存储介质 |
CN114459434A (zh) * | 2022-01-28 | 2022-05-10 | 青岛罗博科技有限公司 | 一种点阵笔倾角检测方法、系统及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4985436B2 (ja) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5763441B2 (ja) | ストリームドットパターン、ストリームドットパターン形成媒体、ストリームドットパターンの読み取り装置 | |
JP2006243818A (ja) | 位置同定機能付き印刷物、2次元座標同定装置、画像形成装置及びその方法 | |
JP4207049B2 (ja) | 同定機能付き印刷物、画像生成装置、画像処理装置及びその方法 | |
JP2007179111A (ja) | コードパターン、印刷物、画像生成装置、画像処理装置、画像生成方法及び情報特定方法 | |
JP4985436B2 (ja) | 位置検出装置及びプログラム | |
JP5609469B2 (ja) | 画像処理装置、識別装置、電子筆記具及びプログラム | |
US8019181B2 (en) | Image generation apparatus, image processing apparatus, computer readable medium and computer data signal | |
JP4967823B2 (ja) | 位置検出装置及びプログラム | |
JP2012065124A (ja) | 画像処理装置、識別装置及びプログラム | |
JP2009181341A (ja) | 位置検出装置及びプログラム | |
JP4973316B2 (ja) | 画像処理装置及びプログラム | |
JP5125547B2 (ja) | 画像生成装置、画像処理装置、プログラム、及び印刷媒体 | |
JP5125548B2 (ja) | 画像処理装置及びプログラム | |
JP5115213B2 (ja) | 画像生成装置、画像処理装置、プログラム、及び印刷媒体 | |
JP5098441B2 (ja) | 画像処理装置及びプログラム | |
JP4973317B2 (ja) | 画像処理装置及びプログラム | |
JP4915211B2 (ja) | 画像生成装置、印刷媒体、及びプログラム | |
JP5028955B2 (ja) | 画像処理装置及びプログラム | |
JP2008301120A (ja) | 画像処理装置、画像生成装置、及びプログラム | |
JP2009176251A (ja) | 画像処理装置及びプログラム | |
JP2008109578A (ja) | 画像生成装置、情報読み取り装置および記録媒体 | |
JP2008301128A (ja) | 画像処理装置、画像生成装置、及びプログラム | |
JP2009181346A (ja) | 画像処理装置、ペン・デバイスおよびプログラム | |
JP2015039153A (ja) | 画像処理装置、画像読み取り装置およびプログラム | |
JP2009181347A (ja) | 画像処理装置、ペン・デバイスおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4985436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |