以下、本発明の実施の形態を添付図面を参照して説明する。
各図は発明を実施する形態の一例であって、図中、同一の符号を付した部分は同一物を表わす。
まず、本発明で用いるドットパターンの原理について説明する。本発明では、ドットパターンの配置アルゴリズムとして、本発明者が発明した2種類の例を説明する。ここでは便宜的にGRID−1およびGRID−2と呼称する。
なお、GRID−1は、発明者がPCT/JP03/03162として出願したものであり、GRID−2も同じくPCT/JP03/16763として出願したものである。
(ドットパターンの説明:GRID−1)
図71は本発明のドットパターンの一例を示す説明図である。図72はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図73はキードットを中心に配置した情報ドットを示す説明図である。
本発明のドットパターンを用いた情報入出力方法は、ドットパターン1の生成と、そのドットパターン1の認識と、このドットパターン1から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン1を撮像手段としてのカメラ(パーソナルコンピュータに接続された光学読取装置、デジタルカメラ、カメラ付携帯電話端末のカメラ機能でもよい)により画像データとして取り込んだ後に、読取装置、パーソナルコンピュータ、またはカメラ付携帯電話端末にインストールされた解析プログラムによって、まず、格子ドットを抽出し、次に本来格子ドットがある位置にドットが打たれていないことによってキードット2を抽出し、次に情報ドット3を抽出することによりデジタル化して情報領域を抽出して情報の数値化されたコードに変換する。そして、そのコードに関係付けられた音声データやその他の情報、プログラムを出力させるものである。また、情報ドット3は、コードではなく座標値であってもよいし、さらに、音声データやその他の情報等、そのものを数値化したものであってもよい。
本発明のドットパターン1の生成は、ドットコード生成アルゴリズムにより、キードット2、情報ドット3、格子ドット4を所定の規則に則って配列する。 GRID−1では、図71に示すように、情報を表すドットパターン1のブロックは、キードット2を中心に5×5の格子ドット4を配置し、4点の格子ドット4に囲まれた中心の仮想点の周囲に情報ドット3を配置する。このブロックには任意の数値情報が定義される。なお、図71の図示例では、ドットパターン1のブロック(太線枠内)を4個並列させた状態を示している。ただし、ドットパターン1は4ブロックに限定されないことは勿論である。
1つのブロックに1つの対応した情報およびプログラムを登録し、または、複数のブロックに1つの対応した情報およびプログラムを登録することができる。
格子ドット4は、カメラでこのドットパターン1を画像データとして取り込む際に、そのカメラのレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ4点の格子ドット4を元の正方形に変換する補正用の関数(Xn,Yn)=f(X´n,Y´n)を求め、その同一の関数で情報ドットを補正して、正しい情報ドット3のベクトルを求める。
ドットパターン1に格子ドット4を配置してあると、このドットパターン1をカメラで取り込んだ画像データは、カメラが原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン1の画像データを取り込むときにも正確に認識することができる。また、ドットパターン1の面に対してカメラを傾けて読み取っても、そのドットパターン1を正確に認識することができる。
キードット2は、図71に示すように、矩形状に配置した格子ドット4の略中心位置にある1個の格子ドット4を一定方向にずらして配置したドットである。なお、このキードットはブロックを構成する四隅の格子ドットを一定方向にずらして配置してもよい(図82参照)。このキードット2は、情報ドット3を表す1ブロック分のドットパターン1の代表点である。たとえば、ドットパターン1のブロックの中心の格子ドット4を上方にずらしたものである。情報ドット3がX,Y座標値を表す場合に、ブロックの中心位置が代表点となる。ただし、この数値(個数)はこれに限定されずに、ドットパターン1のブロックの大小に応じて可変し得るものである。
また、キードット2は、ブロックの中心に配置しているが、これに限らずブロックの角部を構成する格子点を基準に配置してもよい。
情報ドット3は種々の情報を認識させるドットである。この情報ドット3は、キードット2を代表点にして、その周辺に配置すると共に、4点の格子ドット4で囲まれた中心を仮想点にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット3は、格子ドット4に囲まれ、図72に示すように、その仮想点からずらした位置に配置されたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現する。したがって、1ブロックのドットパターン1で3ビット×16個=48ビットを表現することができる。
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、種々変更できることは勿論である。
情報ドット3と、4点の格子ドット4で囲まれた仮想点との間隔は、隣接する仮想点間の距離の15〜30%程度の間隔であることが望ましい。情報ドット3と仮想点間の距離がこの間隔より近いと、ドット同士が大きな塊りと視認されやすく、ドットパターン1として見苦しくなるからである。逆に、情報ドット3と仮想点間の距離がこの間隔より遠いと、隣接するいずれの仮想点を中心にしてベクトル方向性を持たせた情報ドット3であるかの認定が困難になるためである。
たとえば、情報ドット3は、図73に示すように、キードット2を中心に時計回りでI1からI16の領域に配置されており、3ビット×16=48ビットが表現可能となっている。
なお、ブロック内に、個々に独立した情報内容を有し、かつ他の情報内容に影響されないサブブロックをさらに設けることができる。図73はこれを図示したものであり、4つの情報ドットで構成されるサブブロック[I1,I2,I3,I4]、[I5,I6,I7,I8]、[I9,I10,I11,I12]、[I13,I14,I15,I16]は各々独立したデータ(3ビット×4=12ビット)が情報ドットに展開されているようになっている。このようにサブブロックを設けることより、後述するエラーチェックをサブブロック単位で容易に行うことができる。
情報ドット3のベクトル方向(回転方向)は、30度〜90度毎に均等に定めるのが望ましい。
図74は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
また、情報ドット3について格子ドット4で囲まれた仮想点から長・短の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想点間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。
4点の格子ドット4で囲まれた情報ドット3は、見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当て情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、4点の格子ドット4に囲まれた情報ドット3で28の情報を表現でき、1ブロックの情報ドット16個で2128となる。
図75は情報ドットおよびそこに定義されたデータのビット表示例であり、(a)はドットを2個、(b)はドットを4個および(c)はドットを5個配置したものを示すものである。
図76はドットパターンの変形例を示すものであり、(a)は情報ドット6個配置型、(b)は情報ドット9個配置型、(c)は情報ドット12個配置型、(d)は情報ドット36個配置型の概略図である。
図71と図73に示すドットパターン1は、1ブロックに16(4×4)の情報ドット3を配置した例を示している。しかし、この情報ドット3は1ブロックに16個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小またはカメラの解像度に応じて、情報ドット3を1ブロックに6個(2×3)配置したもの(a)、情報ドット3を1ブロックに9個(3×3)配置したもの(b)、情報ドット3を1ブロックに12個(3×4)配置したもの(c)、または情報ドット3を1ブロックに36個(6×6)配置したもの(d)がある。
図77(a)、(b)は情報ドットのエラーをチェックする方法を説明するために情報ドットI1からI16までを並列させた状態を示す説明図である。
前記情報ドット3の1個の3ビットの内、1ビットに冗長性を持たせ、情報ドットInから得られるデータの上位ビットと情報ドットIn+1から得られるデータの下位ビットとを同一と取り扱うことにより、情報ドット3が印刷物等の媒体面に表示された状態において、その情報ドットInから得られるデータの上位ビットと情報ドットIn+1から得られるデータの下位ビットが同一でないときに、情報ドット3は適正位置に表示されていないと判定する。
また、図77(b)は、情報ドットをサブブロック単位でエラーをチェックする方法を説明するために情報ドットI1からI16までを並列させた状態を示す説明図である。
図77(b)に示すエラーチェック方式は、図77(a)と同様に、1ビットに冗長性を持たせ、4つの情報ドット3で構成される[I1,I2,I3,I4]、[I5,I6,I7,I8]、[I9,I10,I11,I12]、[I13,I14,I15,I16]の各々独立したデータ(3ビット×4=12ビット)単位でエラーチェックする方式である。これにより、ドットパターン1の情報ドット3が、印刷物等の媒体面への印刷のずれ、媒体面の伸縮、画素化した際のずれにより隣接する、別のデータを有する情報ドット3が配置される位置へずれて入力されているかどうかについて、そのエラーを100%チェックすることができる。
図78は下位ビットに「0」を割り当てて情報ドットのエラーをチェックする方法の説明図である。
情報ドット3については、その下位ビットに「0」または「1」を割り当てることによりエラーチェックに用いることができる。情報ドット3が媒体面に表示された状態において、情報ドット3が仮想点を中心にして隣接する別のデータを有する情報ドットが配置される位置へこの情報ドット3は適正位置に表示されていないと判定することができる。たとえば、キードット2の方向を上方向と定め、その方向の情報ドット3に定義されるデータを「0」とすると、情報ドット3を8方向のいずれに配置すると共に、エラーチェックに用いるために下位ビットに「0」を割り当てる。すなわち、下位ビットに「0」を割り当てた情報ドット3は、常に仮想点を中心にして上下または左右方向に位置する。そこで、この情報ドット3が傾斜方向に位置するときは適正位置に表示されていないと判定することができる。
図79は下位ビットに「1」を割り当てて情報ドットのエラーをチェックする方法の説明図である。
ところで、キードット2の方向を上方向と定め、その方向の情報ドット3に定義されるデータを「0」とすると、情報ドット3を8方向のいずれに配置すると共に、下位ビットに「1」を割り当てることにより情報ドット3のエラーをチェックすることも可能である。すなわち、下位ビットに「1」を割り当てた情報ドット3は、常に仮想点を中心にして傾斜方向に位置する。そこで、この情報ドット3が上下または左右方向に位置するときは適正位置に表示されていないと判定することができる。
図80は下位ビットに「0」と「1」を交互に割り当てて情報ドットのエラーをチェックする方法の説明図である。
さらに、1個の情報ドット3を満遍なく配置すると共に、エラーチェックに用いるために下位ビットに「0」と「1」を交互に割り当てることにより、この情報ドット3のエラーをチェックすることも可能である。このエラーチェック方式では、上下、左右と45度傾斜方向に交互に情報ドットが生成され、ドットパターンの規則性を無くすことができる。すなわち、下位ビットに「0」と「1」を交互に割り当てた情報ドット3は、常に仮想点を中心にして上下、左右または45度傾斜方向に位置する。そこで、この情報ドット3が上下、左右または45度傾斜方向以外の方向に位置するときは適正位置に表示されていないと判定する。このように、情報ドット3が、仮想点を中心に回転方向にずれて入力されたエラーは確実にチェックすることができる。
なお、情報ドット3を8方向(45度間隔)かつ長・短としたときは(図74参照)、4ビットの内、下位1ビットを「0」または「1」とすると近接する3点(同心円±45度回転位置2点+長・短どちらか1点)のドットの位置にずれた場合は、それをエラーとすることができ、エラーを100%チェックができる。
図81は情報ドットのセキュリティについて説明するために情報ドットI1からI16までを並列させた状態を示す説明図である。
たとえば、ドットパターン1のデータを目視で読むことができないようにするために、情報ドット3のInに対して関数f(Kn)で表現された演算を実施し、In=Kn+Rnをドットパターン1で表現し、ドットパターンInを入力した後、Kn=In―Rnを求める。
または、ドットパターン1のデータを目視で読むことができないようにするために、キードット2を代表点に複数の情報ドット3を1列に配置し、かつこの1列を複数列に配置し、隣り合う2列のデータの差分を情報ドット3のデータとすることにより、各ブロックのドットパターン1の規則性が無くなるように、各情報ドット3を配置することができる。
これにより、媒体面への印刷したドットパターン1を目視で読むことが不可能となるためにセキュリティを高めることができる。また、前記ドットパターン1を媒体面に印刷した際、情報ドット3がランダムに配置され、模様が無くなり、ドットパターンを目立たなくすることができる。
図82はキードットの配置位置を変更したドットパターンの他の配置例を示す説明図である。
キードット2は、必ずしも矩形状に配置した格子ドット4のブロックの中心に配置する必要はない。たとえば、前述のように、格子ドット4のブロックの隅角部に配置することができる。このときは、情報ドット3は、キードット2を起点にして並列するように配置することが好ましい。
(ドットパターンの説明:GRID−2)
次に、GRID−2のドットパターンの基本原理について図を用いて説明する。
まず、図83に示すように、xy方向に所定間隔毎に格子線(y1〜y7、x1〜x5)を仮定する。この格子線の交点を格子点と呼ぶことにする。そして、本実施形態ではこの4つの格子点で囲まれた最小ブロック(1グリッド)としてxy方向に4ブロック(4グリッド)ずつ、すなわち4×4=16ブロック(16グリッド)を1つの情報ブロックとする。なお、この情報ブロックの単位を16ブロックとしたのはあくまでも一例であり、任意のブロック数で情報ブロックを構成することが可能であることはいうまでもない。
そしてこの情報ブロックの矩形領域を構成する4つの角点をコーナードット(x1y1,x1y5,x5y1,x5y5)とする(図中、円形で囲んだドット)。この4つのコーナードットは格子点と一致させる。
このように、格子点と一致する4個のコーナードットを発見することにより、情報ブロックを認識することができるようになっている。ただし、このコーナードットだけだと情報ブロックは認識できても、その向きがわからない。たとえば情報ブロックの方向が認識できないと同じ情報ブロックであっても±90度または180度回転させたものをスキャンしてしまうと全く別の情報となってしまうためである。
そこで、情報ブロックの矩形領域の内部または隣接した矩形領域内の格子点にベクトルドット(キードット)を配置している。同図では、三角形で囲まれたドット(x0y3)がそれであり、情報ブロックの上辺を構成する格子線の中点の鉛直上方の1つ目の格子点にキードット(ベクトルドット)が配置されている。これと同様に、当該情報ブロック内において下辺を構成する格子線の中点の鉛直上の1つ目の格子点(x4y3)に下の情報ブロックのキードットが配置されている。
なお、本実施形態では、格子間(グリッド間)距離を0.25mmとした。したがって、情報ブロックの一辺は0.25mm×4グリッド=1mmとなる。そしてこの面積は1mm×1mm=1mm2となる。この範囲内に14ビットの情報が格納可能であり、この内2ビットをコントロールデータとして使った場合、12ビット分の情報が格納できることになる。なお、格子間(グリッド間)距離を0.25mmとしたのはあくまでも一例であり、たとえば0.25〜0.5mm超の範囲で自由に変更してもよい。
このGRID−2においては、情報ドットは1つおきに格子点からx方向、y方向にずらした位置に配置されている。情報ドットの直径は好ましくは0.03〜0.05mm超であり、格子点からのずれ量は格子間距離の15〜25%程度とすることが好ましい。このずれ量も一例であるため必ずしもこの範囲でなくてもよいが、一般に25%よりも大きなずれ量とした場合には目視したときにドットパターンが模様となって表れやすい傾向がある。
つまり格子点からのずれ方が、上下(y方向)のずれと左右(x方向)へのずれとが交互となっているため、ドットの配置分布の偏在が無くなり、紙面上にモアレや模様となって見えることが無くなり、印刷紙面の美観が保てる。
このような配置原則を採用することにより、情報ドットは1つおきに必ずy方向(図84参照)の格子線上に配置されることになる。このことは、ドットパターンを読み取る際には、1つおきにy方向またはx方向に直線上に配置された格子線を発見すればよいこととなり、認識の際の情報処理装置における計算アルゴリズムを単純かつ高速化できる利点がある。
また、たとえドットパターンが紙面の弯曲等により変形していた場合、格子線は正確な直線とならない場合があるが、直線に近似した緩やかな曲線であるため、格子線の発見は比較的容易であるため、紙面の変形や読取光学系のずれや歪みに強いアルゴリズムであるということがいえる。
情報ドットの意味について説明したものが図85である。同図中において+は格子点、●はドット(情報ドット)を示している。格子点に対して−y方向に情報ドットを配置した場合を0、+y方向に情報ドットを配置した場合を1、同じく格子点に対して−x方向に情報ドットを配置した場合を0、+x方向に情報ドットを配置した場合を1とする。
次に図86を用いて具体的な情報ドットの配置状態と読み取りアルゴリズムについて説明する。
同図中、丸付き数字の1の情報ドット(以下、情報ドット(1)とする)は格子点(x2y1)よりも+x方向にずれているため”1”を意味している。また、情報ドット(2)(図では丸付き数値)は格子点(x3y1)よりも+y方向にずれているため”1”を意味している、さらに情報ドット(3)(図では丸付き数字)は格子点(x4y1)よりも−x方向にずれているため”0”、情報ドット(4)(図では丸付き数字)は”0”、情報ドット(5)は”0”を意味している。
図86に示したドットパターンの場合、情報ドット(1)〜(17)は以下の値となる。
(1)=1
(2)=1
(3)=0
(4)=0
(5)=0
(6)=1
(7)=0
(8)=1
(9)=0
(10)=1
(11)=1
(12)=0
(13)=0
(14)=0
(15)=0
(16)=1
(17)=1
なお、本実施形態では上記情報ビットに対して、さらに以下に説明する差分法による情報取得アルゴリズムを用いて値を算出するようにしたが、この情報ドットをそのまま情報ビットとして出力してもよい。また、この情報ビットに対して後述するセキュリティテーブルの値を演算処理して真値を算出するようにしてもよい。
次に、図86を用いてGRID−2の特徴である差分法を適用した情報取得方法を説明する。
なお、本実施形態の説明において、()で囲まれた数字は図における円形で囲まれた数字(丸付き数字)、[]で囲まれた数字は図で四角形状で囲まれた数字を意味している。
本実施形態において、情報ブロック内の14ビットそれぞれの値は隣接した情報ドットの差分によって表現されている。たとえば、第1ビットは情報ドット(1)に対してx方向に+1格子分の位置にある情報ドット(5)との差分によって求められる。すなわち、[1]=(5)−(1)となる。ここで情報ドット(5)は”1”を、情報ドット(1)は”0”を意味しているので第1ビット[1]は1−0、すなわち”1”を意味している。同様に第2ビット[2]は[2]=(6)−(2)、第3ビット[3]=(7)−(3)で表される。第1ビット〜第3ビットは以下のようになる。
なお、下記の差分式において、値は絶対値をとることにする。
[1]=(5)−(1)=0−1=1
[2]=(6)−(2)=1−1=0
[3]=(7)−(3)=0−0=0
次に、第4ビット[4]については、ベクトルドットの直下位置にある情報ドット(8)と情報ドット(5)との差分で求める。したがって、第4ビット[4]〜第6ビット[6]は+x方向に1格子、+y方向に1格子の位置にある情報ドットの値との差分をとる。
このようにすると、第4ビット[4]〜第6ビット[6]は以下の式で求めることができる。
[4]=(8)−(5)=1−0=1
[5]=(9)−(6)=0−1=1
[6]=(10)−(7)=1−0=1
次に、第7ビット[7]〜第9ビット[9]については、+x方向に1格子、−y方向に1格子の位置にある情報ビットとの値の差分をとる。
このようにすると、第7ビット[7]〜第9ビット[9]は以下の式で求めることができる。
[7]=(12)−(8)=0−1=1
[8]=(13)−(9)=0−0=0
[9]=(14)−(10)=0−1=1
次に、第10ビット[10]〜第12ビット[12]については、+x方向に1格子の位置にある情報ドットの差分をとり、以下のようになる。
[10]=(15)−(12)=0−0=0
[11]=(16)−(13)=1−0=1
[12]=(17)−(14)=1−0=1
最後に、第13ビット[13]と第14ビット[14]は、情報ドット(8)に対してx方向にそれぞれ+1、−1格子の位置にある情報ドットとの差分をとり、以下のように求める。
[13]=(8)−(4)=1−0=1
[14]=(11)−(8)=1−1=0
なお、第1ビット[1]〜第14ビット[14]をそのまま真値として読取データとして採用してもよいが、セキュリティを確保するために、当該14ビットに対応するセキュリティテーブルを設けて、各ビットに対応する鍵パラメータを定義しておき、読取データに対して鍵パラメータを加算、乗算等することにより真値を得るようにしてもよい。
この場合、真値TはTn=[n]+Kn(n:1〜14、Tn:真値、[n]:読取値、Kn:鍵パラメータ)で求めることができる。このような鍵パラメータを格納したセキュリティテーブルは、光学読取装置内のROM内に登録しておくことができる。
たとえば、セキュリティテーブルとして、以下のような鍵パラメータを設定した場合、
K1=0
K2=0
K3=1
K4=0
K5=1
K6=1
K7=0
K8=1
K9=1
K10=0
K11=0
K12=0
K13=1
K14=1
真値T1〜T14は、それぞれ以下のように求めることができる。
T1=[1]+K1=1+0=1
T2=[2]+K2=0+0=0
T3=[3]+K3=0+1=1
T4=[4]+K4=1+0=1
T5=[5]+K5=1+1=0
T6=[6]+K6=1+1=0
T7=[7]+K7=1+0=1
T8=[8]+K8=0+1=1
T9=[9]+K9=1+1=0
T10=[10]+K10=0+0=0
T11=[11]+K11=1+0=1
T12=[12]+K12=1+0=1
T13=[13]+K13=1+1=0
T14=[14]+K14=0+1=1
以上に説明した情報ビットと、セキュリティテーブルと真値との対応を図87に示す。
なお、上記では情報ドットから情報ビットを得て、セキュリティテーブルを参照して真値を求める場合を説明したが、これとは逆に、真値からドットパターンを生成する場合には、第nビットの値[n]は、[n]=Tn−Knで求めることができる。
ここで一例として、T1=1、T2=0、T3=1とした場合、第1ビット[1]〜第3ビット[3]は、以下の式で求められる。
[1]=1−0=1
[2]=0−0=0
[3]=1−1=0
そして、第1ビット[1]〜第3ビット[3]は、以下の差分式により表される。
[1]=(5)−(1)
[2]=(6)−(2)
[3]=(7)−(3)
ここで、(1)=1、(2)=1、(3)=0という初期値を与えると、以下のようにドット(5)〜(7)を求めることができる。
(5)=(1)+[1]=1+1=0
(6)=(2)+[2]=1+0=1
(7)=(3)+[3]=0+0=0
以下の説明は省略するが、同様にドット(8)〜(14)の値も求めることができ、この値に基づいてドットを配置すればよい。
なお、ドット(1)〜(3)の初期値は任意の乱数(0か1)である。
つまり、割り当てられた初期ドット(1)〜(3)に対して情報ビット[1]〜[3]の値を加算してやることで、次のy方向格子線に配置されるドット(5)〜(7)の値を求めることができる。同様に、ドット(5)〜(7)の値に情報ビット[4]〜[6]の値を加算してやることにより、ドット(8)〜(10)の値を求めることができる。さらに、これらに情報ビット[7]〜[9]の値を加算してやることでドット(12)〜(14)の値を求めることができる。さらに、これに情報ビット[10]〜[12]の値を加算すればドット(15)〜(17)の値を求めることができる。
なお、ドット(4)および(11)については前記で算出されたドット(8)に基づいて情報ビット[13]を減算、情報ビット[14]を加算することでそれぞれ求められる。
このように、本実施形態では、格子線yn上のドットの配置を格子線y(n−1)上のドット配置に基づいて決定し、それを順次繰り返すことにより全体の情報ドットの配置が決定される。
以上に説明したGRID−1およびGRID−2のドットパターンを用いることを想定して以下の具体例を説明するが、下記の具体例では必ずしも以上に説明したGRID−1またはGRID−2のドットパターンアルゴリズムのみが適用可能なわけではなく、ドットパターンによって情報を格納する技術であればどのようなドットパターンも用いることができる。
具体例(1)
以下の具体例では、CMOSセンサ等の光学撮像素子が反応する領域でかつ赤外線また紫外線波長を吸収するインク(反応インク)の代表例として、赤外線波長を吸収するカーボンインクを用いた例で説明するが、カーボンを含有していなくてもこれらの特性を有するインクであればよい。たとえば、カーボンを含有しない分子構造で赤外線を吸収する特性を有するインクとしては透明に近いインク(ステルスインク)を用いることができる。このように透明に近いいわばステルスインクを用いることでドットを見えにくくすることが可能となる。
図1は、紙の色と同系色のカーボンインクでドットを印刷し、その上に4色(YMCK)のノンカーボンインクを用いて通常印刷を行ったものである。
本具体例によれば、ドットを紙(媒体面)の色と同系色で印刷してあるため、肉眼ではドットが見えづらくなっている。
なお、本具体例において、紙の色が真白であったり、ほとんど白に近い青色である場合には、カーボンの含有量を数パーセント程度に抑制したグレー(K:墨)か、もしくはシアン(C)でドットを印刷すると、その上に通常印刷された領域はドットを見えにくくすることができる。勿論カーボンを含まずに赤外線波長領域で反応するステルスインク(商標名)を用いればほとんど目視による識別は困難になる。
また、生成り色や暖色系の色が多く含まれる紙(媒体)では、Yインクやステルスインク(商標名)でドットを印刷するのが望ましい。
なお、インク中のカーボン含有量は、10%程度が望ましいが、素子の撮像性能、を向上させることによって、数%のカーボン含有量でも赤外線光学読取装置で認識させることは可能である。
具体例(2)
本具体例は、図2(a)および(b)に示すように、紙面(媒体面)上に印刷されたドット上にさらに不透明インクを重畳印刷することによって目視ではドットを認識できないようにするものである。
ここで不透明インクとは、可視光を透過させないインクのことを意味する。すなわち、波長の長い赤外線が通過可能であり、波長の短い可視光が通過しないことにより、目視では認識不可能でかつ赤外線で反応するドットパターンを実現することができる。
すなわち、紙面(媒体面)上にまずカーボンインクでドットを印刷した後(図2(a))、当該紙面の色またはその近似色、あるいは任意の不透明ノンカーボンインクを用いて前記ドットを覆う領域を印刷し(図2(b))、さらにその上に4色(CMYK)のノンカーボンインクを用いて通常印刷を行うものである。
このとき、図2(b)に示した状態では、不透明ノンカーボンインクの印刷によってドットが覆われているため、その下に印刷されたドットは目視では認識できないが、赤外線は前記不透明ノンカーボンインク層を透過し、カーボンインクのドット部分で吸収されるため、当該ドット部分から赤外線は反射されずそのため赤外線光学読取装置で当該ドットが確実に認識される。
なお、特色として用意されている白色の不透明ノンカーボンインクを使用する場合には、本来的に不透明性が高いために、ドット印刷は通常の墨色(K)のカーボンインクを用いても高い隠蔽性を維持できる。
以上の説明では、紙面上でカーボンインクでドットを印刷した領域のみを不透明インクを用いて重畳印刷した例であったが、図3に示すように、まずドットをカーボンインクで印刷した後(図3(a))、紙面の全面を不透明ノンカーボンインクで印刷してもよい(図3(b))。
この場合、不透明ノンカーボンインクによる全面印刷は、任意の色でよい。
このとき、図2で説明したのと同様に、図3(b)に示した状態では、不透明ノンカーボンインクの印刷によってドットが覆われているため、その下に印刷されたドットは目視では認識できないが、赤外線は前記不透明ノンカーボンインク層を透過し、カーボンインクのドット部分で吸収されるため、当該ドット部分から赤外線は反射されずそのため赤外線光学読取装置で当該ドットが確実に認識される。
なお、ドットを印刷するカーボンインクの色は墨(K)である必要はない。すなわち前述のようにカーボンが数%程度含有されていればどのような色であっても前記赤外線吸収効果が期待できるからである。
なお、紙面の全面を印刷する上層の不透明ノンカーボンインクの色を予め決めておき、その下層に印刷するドットは前記全面印刷の色と近似した色のカーボンインクを用いることによって、ドットをより確実に隠蔽することができる。
具体例(3)
図4に示す具体例は、ドットをその位置の背景4色(色数は任意)と同一色のカーボンインクで印刷し、ドットの色を周辺の色に紛れさせて隠蔽しやすくしたものである。
図4(a)は、通常の1色のドットを示しており、図4(b)は4色の同心円領域で構成されたドットを示している。
本具体例は、AM印刷法による網点印刷を前提に隠蔽性の高いドットを印刷する技術である。
同図(b)では4色のカーボンインクでドットを印刷している例を示している。
この場合、各色(4色)のドットは同心円状に印刷されており、下層からY(イエロー)、M(マゼンダ)、C(シアン)、K(墨)の色順となっている。
印刷する各色ドットの大きさは、最も階調の高い色(最高階調色:ここではY)の直径φYをドットパターンの直径φ0と一致させてφY=φ0とし、その最高階調色の網点量(%)をx0%、求める色のドットの網点量をx%とした場合、各色の直径φxは、以下の式で算出される。
φx=√(x/x0)×φ0
したがって、Yの網点量が70%、Mの網点量が50%、Cの網点量が30%、Kの網点量が20%である場合、各色の直径はそれぞれ以下のようになる(図5(a)参照)。
φM=√(50/70)×φ0≒0.85φ0
φC=√(30/70)×φ0≒0.65φ0
φK=√(20/70)×φ0≒0.53φ0
また、K(墨)成分をC、M、Yの各成分にそれぞれ重畳した場合には、各色の直径は以下のようになる(図5(d)参照)。このように、K成分(墨成分)を他のC、M、Yの各成分に重畳させることにより、インクの使用色数を低減することも可能である。
φY=φ0
φM=√(70/90)×φ0≒0.89φ0
φC=√(50/90)×φ0≒0.74φ0
なお、さらに色数を低減したい場合には、当該印刷において、どの色が支配的か、あるいはどの色を鮮やかに見せたいか(目的色)等によってその目的色のみをドットに用いてドットを構成する色数を低減してもよい。
また、本具体例によれば、ドットを隠蔽しやすくするだけでなく、カーボンインクのKだけでドットパターンを表現しないため、通常印刷の網点で用いるノンカーボンインクのKの他にカーボンインクのKが混在することにより生じる色のくすみを防止できる。
具体例(4)
図6および図7に示す具体例は、色分解処理によりドットのみを抽出する技術の原理を示したものである。
本具体例では、通常印刷には墨(K)を使用せずに、CMYインクのみを用いて行い、ドットパターンを構成するドットのみを墨(K)で表現した場合の認識手法を示すものである。
このとき、通常印刷およびドットの印刷に用いるインクは可視光領域で光学的に認識できるインクであればいかなるものであってもよい。
このようにして印刷された紙面(媒体面)を光学読取装置において、CMOS撮像素子、CCD撮像素子等を用いた撮像手段で撮像したカラー画像をRGBフレームバッファに入力して色分解処理を行う。図6(a)はこのときのRGB各色の成分比を示している。
一般的に光学読取素子であるCMOS等には読取時に多少の特性が存在している。これは、色成分が一色に偏って影響力が大きいときに、他の色もそれに引きづられてしまったり、デバイスの製造時のばらつきも影響するためであり、たとえば読み取った結果全体が青みがかってしまうような画像になることが多い(図6(a)参照)。そのような特性画像に対してドットパターンの認識を実行すると、色分解処理の場合には青成分のためにKインク(墨色)のドットが墨色として読みにくくなり読取エラーとなることが多い。そこで、読み取りの際に修正をかける。
つまり、読み取った画像の中から、RGBの加算結果が最小となる画素を検索する。このようにRGBの加算結果が最小となるような画素は間違いなくドットである。そのときに、RGBの中でBだけが値が高いというようにばらついている場合、青の強い画像に修正されていることがわかる。そこで、RGBの加算結果が最小となった画素のそれぞれのRGB値を補正基準値として、その他の画素からこの補正基準値を減算する(図6(b)〜(c))。そうすると、CMOSが補正した画像が補正前の状態に復元されることになる。
次に、前記のように、補正された画像に対して、各画素のRGBデータの最大値と最小値の平均値をとり、この平均値のグレースケールが高い値のときには前記領域αの幅を小さく設定し、前記グレースケールが低いときには前記領域αの幅を大きく設定することにより、Kインク(墨色)によるドットパターンの可視光領域での識別を容易にしたものである。
なお、各画素において、前述のRGB成分を減算処理する際に、マイナス値となってしまう場合は一律に0とする。なおこのRGB最小領域の抽出は、いくつかの画素で複数サンプリングして補正基準値を算出してもよい。
この具体例では、ドット以外で濃い無彩色(グレー)をCMYで印刷した場合は、色分解処理によるドットとの区別がつかないため、ドットのみを認識することはできなくなる。しかし印刷が薄い無彩色(グレー)であれば、この部分はドットとして認識しないため問題はない。
したがって、印刷に濃いグレーを用いないことが前提とはなるが、本具体例によれば色分解処理によりドットを認識することが可能となる。
本具体例は特殊な赤外線照射機能やフィルタ機能等が不要であるため、既存のデジタルカメラ、携帯電話端末に付加されたデジカメ機能やWEBカメラ等で撮像した撮像画像からドットを認識させることも可能となる。
以上の処理手順をまとめると、光学読取装置において、以下のような手順を実行すればよい。
1)まず、各画素のRGBの最高光と最低光の階調(最大100%)の平均値xを算出する。
2)次に、RGBの最高光と最低光の差分が一定値αよりも大きいか少ないかで当該対象光がグレースケールであるか否かを判定する。
たとえば、α=−1/10x+10 とする。
ここで、10は補正係数である。xが100%に限りなく近い場合にはグレースケール100(白色)として判断しているので問題はないが、グレースケールが低い場合には判定誤差(低い領域では白と判定してしまう誤差)を生じさせないようにするために+10の補正を行う。
3)α>最大階調−最低階調間 の場合、xをグレースケールの階調とする。
4)α<最大階調−最低階調間 の場合、グレースケール100%(白色)とする。
5)グレースケールを基に画像処理を実行し、2値化してドットと判定する。
なお、補正係数は10にしたが他の数値としてもよいことは勿論であり、αを算出する式は、CMOSの特性に合わせて定義してよい。
具体例(5)
本具体例は、ドットパターンのドットを印刷の墨色の網点で兼用するものである。
図10は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−1の場合で、左図がC、M、Yの元画像であり、右図がC、M、YからK成分(墨成分)の一部を抽出してドットパターンを網点で兼用した印刷面の拡大図である。同図において、ドットとしてのKはカーボンインクで印刷されている。元画像C、M、Yからドットの網点量に相当するK成分(墨成分)だけを抽出するため、右図のC、M、YにはK成分(墨成分)がある。この原理を示したのが図7である。すなわち同図では、ドットを配置する周辺の色成分CMYから共通成分のうち、ドットとして読み取れる最小の網点量を抽出してそれをK成分としてドットを配置している。
図11は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−1の場合で、左図がC、M、Yの元画像であり、右図がC、M、YからK成分(墨成分)の全部を抽出し、ドットパターンをKの網点で兼用した印刷面の拡大図である。同図において、ドットとしてのKはカーボンインクまたはノンカーボンインクで印刷されており、具体例(4)で説明した色分解法によってドットを認識することを前提としている。
図12は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−1の場合で、左図がC、M、Yの元画像であり、右図が元画像C、M、Yから画像印刷上理想的なK成分(墨成分)を抽出してドットパターンをK1およびK2の網点で兼用した印刷面の拡大図である。同図において、K1はノンカーボンインクで印刷されており、K2はカーボンインクで印刷されている。K1はドットパターンと兼用した網点であり、K2はこのK1の領域にドットとして読み取れる最小の網点量で重畳印刷されている。したがって、K2によるドットは、K1よりも小さければよく、自由度のある認識用ドットとすることができる。
図13は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−2の場合で、左図がC、M、Yの元画像であり、右図がC、M、YからK成分(墨成分)の一部を抽出してドットパターンを網点で兼用した印刷面の拡大図である。同図において、ドットとしてのKはカーボンインクで印刷されている。元画像C、M、Yからドットの網点量に相当するK成分(墨成分)だけを抽出するため、右図のC、M、YにはK成分(墨成分)がある。
図14は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−2の場合で、左図がC、M、Yの元画像であり、右図がC、M、YからK成分(墨成分)の全部を抽出し、ドットパターンをKの網点で兼用した印刷面の拡大図である。同図において、ドットとしてのKはカーボンインクまたはノンカーボンインクで印刷されており、具体例(4)で説明した色分解法によってドットを認識することを前提としている。
図15は、AM印刷法において、網点をドットパターンのドットとした場合で、パターンの配置論理がGRID−2の場合で、左図がC、M、Yの元画像であり、右図が元画像C、M、Yから画像印刷上理想的なK成分(墨成分)を抽出してドットパターンをK1およびK2の網点で兼用した印刷面の拡大図である。同図において、K1はノンカーボンインクで印刷されており、K2はカーボンインクで印刷されている。K1はドットパターンと兼用した網点であり、K2はこのK1の領域にドットとして読み取れる最小の網点量で重畳印刷されている。したがって、K2によるドットは、K1よりも小さければよく、自由度のある認識用ドットとすることができる。
以上のように、本具体例のドットは網点を兼用しているが、本来の網点の位置からずらすことによってそのずらし方で情報を定義している。
すなわち、本来ドットパターンは、格子線の交点にドットを配置するのが原則であるが(格子点)、この具体例では1個おきの格子点に格子ドットが配置され、それ以外は格子点からずらした情報ドットとして印刷されている。
この情報ドットの定義については前に説明したのでここでは説明は省略する。
本具体例によれば、このように実質的に印刷面に存在する網点をドットと兼用することができるため、目視によるドットの認識はほとんど困難になる。
格子点からのずれで情報を定義するドットパターンに全て適用可能である。
また、赤外線光学読取装置で読み取るためにドットパターンのドットをKのカーボンインクで印刷した場合には、印刷のノンカーボンインクのKの網点のドットの位置が異なるため、それらが紙面(媒体面)上で重複印刷されるとくすみを生じてしまうことが本発明者らによって認識されていたが、本具体例によれば、ドットパターンをKの網点で兼用し通常印刷のみで、4色印刷を行っているため、ドットパターンを別途Kインク(墨色)で重複印刷した場合のような印刷面のくすみが生じることなく、印刷面を美麗に保つことができる。
網点の墨(K)をドットと兼用した場合、ドットは格子点からずれさせる必要があるため、隣り合うドットが繋がってしまう可能性が通常の網点の場合よりも多い。通常の網点は50%以上で繋がってしまうことが多い。そこで、本具体例では、網点量を最大で20〜25%程度となるように補正する必要がある。ただし、ドットの形状を精度良く画像処理すれば、50%を超える網点量でも認識は可能である。
図8は、本具体例においてドットを正方形で印刷した場合、図9は円形で印刷した場合を示している。
なお、墨(K)の色成分が全くない場合、または極めて少ない場合でもドットを検出するためには、網点量は最低でも数%(印刷の精度が低ければそれ以上のパーセンテージ)以上でドットを表現することが好ましい。
なお、赤外線照射方式を採用して本具体例に適用する場合には、ドットの印刷にKのカーボンインクを用いて、図16に示すように、ドットを認識しやすい大きさに補正して印刷することもできる。
図16(a),(b)において、50%を占めるK成分(墨成分)の30%を、同図(a)’,(b)’に示すようにCMYに加えて、Kを30%低減することにより、隣り合うドットが接触しないようにしたものである。なお同図では説明のためドット間隔を均等にしているが、前述のように網点と情報ドットとを兼用している場合にはその配置にずれを生じていることはいうまでもない。なお、図17は四角形状で配置された網点に重畳して黒丸形状の情報ドットを配置したGRID−1のドットパターンをわかりやすく説明した図である。
具体例(6)
本具体例は、1枚の印刷画像中にマスク部分を設けて当該マスクの形状を認識できるようにしたものである。
本具体例では、画像でノンカーボンインクCMYKを使用して印刷する部分と、カーボンインクCMYKを使用して印刷する部分とに所定形状で領域を分けることにより、赤外線方式でカーボンインクで印刷された文字や絵柄、各種コードを読み取るようにした。
具体的には、図18に示すように、画像中で隠蔽したいマスク形状を設定し、次に図19(a)に示すように、マスク部分を除外した部分をノンカーボンインクを用いて印刷する
次に、図19(b)に示すように、マスク部分をカーボンインクで印刷する。
このようにして、図19(c)に示す画像が完成する。このとき、カーボンを含有したインクとしていないインクとでは多少発色特性が異なるため、目視の際に違和感を感じないように、マスク部分または非マスク部分のインクの色補正を行い、マスクの境界がわからないように印刷することが望ましい。なお、カーボンの替わりにステルスインクを混入したインクを用いてもよいことはいうまでもない。
この図19(c)に示した画像に赤外線照射を行い、その反射光を赤外線光学読取装置で読み取ると、カーボンインクで印刷されたマスク部分だけが赤外線を吸収するため、図18に示したようなマスク画像領域を認識することができる。このマスク領域は、本具体例(6)ではアルファベットの大文字のAの形状としたが、この領域は他の文字、記号、図形の形状にしてもよい。また、このマスク領域の印刷も、他の具体例で説明したドットパターンで印刷してもよい。
具体例(7)
本具体例は、網点印刷を用いない、FMスクリーン印刷方式によるドットパターンの隠蔽(ステルス)印刷技術を示したものである。
FMスクリーン印刷方式は、同一の大きさの画素の密度によって画像を表現したものである(図20参照)。
本具体例では、ドットの部分のみ、すなわちドットを構成する画素の部分だけを同色のカーボンインクのCMYを用いて、他の部分はノンカーボンインクを用いることによって、赤外線照射によってドットを認識することができる。
ただし、ドットパターンを構成するドットにおいて、図20(b)に示すように、色情報がない場合には、図21のように周辺の画素と色を交換するか、周辺の同色を画素に割り当ててドットとして認識することができる形状をカーボンインクで生成する必要がある。
また、周辺の画素にも全く色情報がない場合には、紙に近い色をカーボンインクで生成してドットを印刷する必要がある。
以上の例では、カーボンインクを4色(CMYK)使用した場合で説明したが、具体例(3)と同様に、墨(K)を省略してCMYの3色のカーボンインクで表現することもできる。すなわち、ドットを構成する各画素毎にCMYKからKの成分を除去し、その成分量をCMYに加えてCMYの階調を上げてドットの色を補正する。これにより、ドットを墨(K)を用いることなく、CMYの3色のカーボンインクで表現することができ色数を減らすことができる。なお、画素に色情報がない場合には、周辺の画素と色を交換するか、周辺の同色を画素に割り当ててドットとして認識することができる形状をカーボンインクで生成してやることができる。
また、FMスクリーン印刷方式においても墨(K)をドットで兼用し、ドットの周辺はCMYのみの3色で表現することも可能である。
すなわち、ドットの支配面積、すなわち(印刷面積)/(ドットの数)により、ドット1個当たりの領域に対して含まれるそれぞれの画素のCMYの各階調(最大100%)の共通階調部分を差し引いたCMYをその画素の階調とし、当該共通部分の階調を上記領域内で加算し、100%で除すると、墨として表現されるドットを構成する画素数が算出される。これをドットを配置すべき中心からスパイラル状に墨(K)の画素を配置してドットを形成することができる(図22参照)。
以上により、具体例(5)の方法と同様に、具体例(4)の色分解処理技術を用いてドットを検出することができる。
この具体例によれば、Kインク(墨色)をカーボンインクとノンカーボンインクとで重複印刷することがないため、印刷面のくすみを抑制することができる。
ただし、本具体例において、紙面上(媒体面上)のドットの支配領域に墨が全くない場合、ドットとして認識できる最低の画素数の墨(K)でドットを表現する必要がある。
具体例(8)
図23の写真は、本具体例(1)〜(7)で説明したドットパターンが印刷されている。この写真中の人物の部分には、カーボンインクまたはステルスインクでドットパターンを印刷している。また、当該ドットパターンの印刷に用いられるインクはカーボンインクもしくは、カーボンを含有していなくても赤外線波長または紫外線波長領域で反応するステルスインクを用いている。また、人物以外の背景部分にはドットパターンは印刷されていない。これにより、カーボンインクを使用しても白地にくすみは生じない。
図24〜26は、本発明に基づく写真シールの印刷例を示したものである。図23および24は人物を撮影したものであり、当該撮影はいわゆるデジタルカメラ、当該デジタルカメラ機能を備えた携帯電話端末、またはアミューズメント施設等に設置された写真シール撮影機で撮影したものをプリンタ装置で印刷したものである。図23では写真シールの人物の部分(顔を除く)にのみドットが印刷されている。また、図24では顔写真の下にドットパターンの印刷領域が設けられている。図25はグリーティングカードを示したものであり、オブジェクト(キャラクタ)毎にその領域にドットパターンが印刷されている。
図26は、ドットパターンが印刷されたフレーム画像と写真データを合成したもので、フレーム画像はパーソナルコンピュータまたは携帯電話端末に予めダウンロードしておくことができる。そしてフレーム画像には予めドットパターンが印刷されており、このフレーム画像をダウンロードしたパーソナルコンピュータまたは携帯電話端末では、予めインストールされた処理プログラムによって当該ドットパターンがコードに変換されてメモリまたはハードディスク装置に記憶される。
次に、前記パーソナルコンピュータまたは携帯電話端末よりユーザが音声データを入力する。パーソナルコンピュータまたは携帯電話端末では、前記処理プログラムによって、前記音声データが前記コードと関連付けられて(具体的には、音声データに付与されたIDと、コードとが関連付テーブルに登録される)、メモリまたはハードディスク装置等の記憶手段に関連付け情報が記憶される。次に、デジタルカメラまたはカメラ付携帯電話端末で写真が撮影され、前記パーソナルコンピュータに写真データが転送されると、当該写真データが前記フレームデータと合成される。この処理は前記カメラ付携帯電話端末内の処理プログラムで行ってもよい。このようにして合成された写真データは、パーソナルコンピュータや携帯電話端末に接続されたプリンタで印刷される。次に、前記音声データと関連付情報(前記関連付テーブルの内容)とが別のパーソナルコンピュータまたは携帯電話端末に電子メールの添付ファイル形式で転送される。この転送も、電子メールの他、メモリカード等の記憶媒体で行ってもよい。次に、前記音声データと関連付け情報とが転送された他のパーソナルコンピュータまたは携帯電話端末において、前記合成写真データの撮影画像が入力されると、当該他のパーソナルコンピュータまたは携帯電話端末では予めインストールされた処理プログラムにより、当該合成写真データからフレーム部分のドットパターンを読み出してコードへの変換を行う。そして、当該処理プログラムは前記関連付情報(関連付テーブル)を参照して、コードから音声データのIDを索出し、このIDに対応した音声データをスピーカ等から再生出力する。
このように、図26では、フレームデータを所定のサイト(サーバ)からダウンロードしてユーザが自身で撮影した写真データと合成して印刷しておくことにより、他のユーザが当該合成写真を撮影したときに所定の音声を再生出力させることが可能となる。
なお、音声データと関連付情報については、パーソナルコンピュータまたは携帯電話端末間で直接転送する場合で説明したが、これらのデータは所定のサーバに登録しておき、他のユーザは当該サーバにアクセスしてこれらのデータをダウンロードするようにしてもよい。
図27〜28は、デジタルカメラ機能を備えた携帯電話端末を示している。
当該携帯電話端末は、miniSDカード(商標名)またはメモリスティックDuo(商標名)と呼ばれる小型のメモリカードを装着することができ、その正面には、液晶表示部、操作ボタン、数字ボタン、カメラ撮影ボタン等が配置されている。また、背面側にはCCDカメラまたはCMOSカメラの撮像レンズが設けられている。
携帯電話端末の内部は、中央処理装置を中心にメインメモリ、ROMおよびフラッシュメモリ、操作ボタン、数字ボタン、カメラ撮影ボタン等がバスを介して接続されている。また、前記メモリカードを装着するカードアダプタおよびマイク、スピーカも前記バスに接続されている。
デジタルカメラ機能は、100万ないし200万画素以上のCMOS撮像素子またはCCD撮像素子を備えており、カメラ撮影ボタンの押釦操作をトリガに撮影を開始するようになっている。
撮影画像はJPEG形式のデータとしてフラッシュメモリまたはメモリカードに格納されるようになっている。
本具体例では、同じくフラッシュメモリに登録されたプログラムによって、具体例(1)〜(7)で説明した媒体面に設けられたドットが読み取られるようになっている。
なお、マイクから入力された音声データは、WAV形式、MP3形式等の音声データに変換されてフラッシュメモリまたはメモリカードに登録されるようになっている。
図30は、このような携帯電話端末を用いた本具体例の処理手順を示したフロー図である。
まず、ユーザは携帯電話端末のマイクに向かって録音した内容を喋る。このようにして喋った内容はマイクを介して音声データとしてフラッシュメモリまたはメモリカードに登録される。
次に、ユーザは、当該携帯電話端末のカメラ機能を用いて、図23,24,26に示した写真シールを撮影する。この写真シールには、印刷装置で設定されたコードデータがドットパターンとして印刷されている。このようなドットパターンの印刷技術は前述の具体例(1)〜(7)で説明した通りなので本具体例では説明は省略する。
このようにして撮影されたドットパターンは、中央処理装置がフラッシュメモリから読み出されたプログラムに基づいてコードデータに変換される。
次に、中央処理装置は、前記で入力された音声データと当該コードデータとを関連付けてフラッシュメモリまたはメモリカードのデータベースに登録する。
次に、本携帯電話端末において、再度前記の写真シールが撮影されドットパターンがコードデータに変換されたとき、中央処理装置は当該コードデータに基づいてフラッシュメモリまたはメモリカードのデータベースにアクセスし、関連付けられた音声データを読み出してスピーカより再生させる。
このようにして、当該携帯電話端末において2回目以後の当該写真シールの撮影時には、その度に関連付けられた音声データを再生させることができる。
なお、2回目以後の写真シールの撮影の時には、必ずしもフラッシュメモリまたはメモリカードに撮影画像データを登録する必要はなく、カメラの撮影画像がメインメモリまたは図示しないVRAMに展開された状態(オンメモリ状態)で音声データの再生を行うようにしてもよい。
図31は、メモリカードに前記音声データ、コードデータおよびそれらを関連付けるデータベースを登録するようにして、当該メモリカードを別の携帯電話端末に装着させ、この別の携帯電話端末が前述の写真シールを撮影した際にも前記と同様の音声データを再生できるようにしたフロー図である。
このように図31では、メモリカードを相手に渡すだけで、同じ写真シールを相手の携帯電話端末で撮影させることで、自分が録音した音声データを相手の携帯電話端末で再生させることができ、写真シールを媒介とした音声によるメッセージを相手に伝えることができるようになる。
図32は、前記音声データ、コードデータおよびそれらを関連付けるデータベースを携帯電話端末の通信機能を使って相手の携帯電話端末に転送するようにしたフロー図である。ユーザの携帯電話端末と相手の携帯電話端末に、いわゆるiアプリと呼ばれるプログラムを所定のサーバからダウンロードしておくことにより、iアプリ(商標)同士が通信を行い、ユーザの携帯電話端末から音声データとコードデータとデータベースとを相手の携帯電話端末に転送する。
これによって、同一の写真シールを相手が携帯電話端末で撮影したときに、ユーザがユーザ側の携帯電話端末で録音した音声データが相手の携帯電話端末から再生されるようになる。
上記図32は、iアプリ(商標)間通信により音声データとコードデータとデータベースを転送する例であったが、図33は、電子メールを使用してこれらのデータをユーザの携帯電話端末から相手の携帯電話端末に転送する処理を示している。この方法によっても前記と同様に、当該写真シールを相手が携帯電話端末で撮影したときに、ユーザがユーザ側の携帯電話端末で予め録音しておいた音声データが相手の携帯電話端末から再生されるようになる。
具体例(9)
本具体例は、具体例(8)で説明した携帯電話端末と、写真シール撮影装置を用いたシステムである。
本具体例のシステム構成は図29に示す通りである。
すなわち、写真シール撮影装置は、制御装置を中心に、カメラ、マイク、操作ボタンおよび印刷装置を有している。制御装置は汎用パーソナルコンピュータ等の情報処理装置で構成されており、同図では図示しない中央処理装置、メインメモリ、プログラムやデータベースを登録したハードディスク装置等で構成されている。当該制御装置は、ネットワークを介してドットコード管理サーバおよび音声管理サーバと接続されている。前者のドットコード管理サーバはドットコードの発行および音声管理サーバで管理された音声データとの関連付けを行っており、これらを関連付けたデータベースを有している。後者の音声管理サーバは、写真シール撮影装置のマイクを通じて入力された音声データを登録し管理している。なお、これらの両サーバは図29では別のサーバとして図示したが同一のサーバであっても構わない。
次に、本システム構成を用いた処理手順を図34を用いて説明する。
まず写真シール撮影装置(商標名:プリクラ)において、ユーザが操作ボタンによってカメラを操作して写真撮影を行い、写真データを制御装置のメモリに格納する。このとき、写真シール撮影装置の制御装置は、印刷を行おうとする写真シール台紙に予め印刷されたドットパターンを読み取ってドットコード番号に変換する。
そして写真シール撮影装置は、前記シール台紙に撮影した写真画像を印刷出力する。
次に、ユーザはマイクを通じて任意の音声を入力する。このようにして入力された音声データは、制御装置のメモリに一旦格納される。そして、制御装置は前述でシール台紙から読み取ったドットコードと、当該音声データとを音声管理サーバに通知する。これによってドットコード管理サーバは音声データとドットコードとを関連付けたデータベースへの登録を行う。
次に、ユーザは、当該写真シール撮影装置から印刷出力された写真シールを携帯電話端末で撮影する。携帯電話端末の中央処理装置は、当該写真シールの撮影画像からドットパターンを読み込んでドットコード番号に変換する。このときの処理は具体例(8)で説明したものと同様である。
次に、ユーザはマイクを通じて任意の音声を入力する。このようにして入力された音声データは、制御装置のメモリに一旦格納される。そして、制御装置は当該音声データを音声管理サーバに登録する。また、このときに当該音声データに付与されたIDを前記ドットコード管理サーバに通知する。これによってドットコード管理サーバは音声データとドットコードとを関連付けたデータベースへの登録を行う。
次にユーザは、携帯電話端末のフラッシュメモリに格納された通信プログラムを起動して、ドットコード管理サーバへのアクセスを行い、当該ドットコード番号に対応した音声データのIDを検索する。そして、索出されたIDに基づいて音声管理サーバがアクセスされた音声管理サーバに登録された音声データが前記携帯電話端末にダウンロードされてスピーカより再生される。
なお、この具体例では、ドットパターンの読取を携帯電話端末で行ったが、パーソナルコンピュータに接続された光学読取装置を用いてもよいことはいうまでもない。
図34に示した処理は、写真シール台紙に予めドットパターンが印刷されている場合であったが、図35は、写真撮影毎に写真シール撮影装置が新たなドットコードを発行するようにしたものである。それ以外の処理は図34と同様であるため説明は省略する。
また、図36は、ドットコードの発行をドットコード管理サーバとした場合である。
図37は、写真シール撮影装置で音声を録音し、パーソナルコンピュータまたは携帯電話等で当該音声データを再生するための手順であり、ドットパターンは予め写真シール台紙に印刷されている場合を示している。
図38は、前記図37と同様に、写真シール撮影装置で音声を録音し、パーソナルコンピュータまたは携帯電話等で当該音声データを再生するための手順であるが、ドットパターンは写真撮影の都度当該写真シール撮影装置が未使用のドットコードを発行するようになっている。
図39および40は、写真シール撮影装置で予めドットパターンが印刷された写真シール台紙を用いて写真シール印刷を行い、この写真シールをカメラ付携帯電話端末で撮影するとともに、音声入力もそのときに行い、音声管理サーバで管理するようにしたものである。そして、他のユーザが別のカメラ付携帯電話端末で前記写真シールを撮影したときに、前記音声管理サーバに問い合わせを行い、前記で入力された音声データを再生するようにしたものである。
図41および42は、写真シール撮影装置で、写真撮影毎にドットコードを発行し、写真シール印刷を行い、この写真シールをカメラ付携帯電話端末で撮影するとともに、音声入力もそのときに行い、音声管理サーバで管理するようにしたものである。そして、他のユーザが別のカメラ付携帯電話端末で前記写真シールを撮影したときに、前記音声管理サーバに問い合わせを行い、前記で入力された音声データを再生するようにしたものである。
図43および44は、ユーザが写真シール装置で写真撮影した後に、写真シール装置がドットコード管理サーバからドットコードの発行を受けて、ドットパターンを生成し、写真シールを出力する。次に、ユーザは携帯電話端末で当該写真シールを撮影するとともに音声を録音し、この音声を前記ドットコードと関連付けて記録した後、当該ドットコードと音声データとを音声管理サーバに登録する。
そして、別のユーザが携帯電話端末で前記写真シール、すなわちドットパターンを撮影したときに当該ドットパターンをドットコードに変換し、このドットコードを元に関連付けられた音声データの有無を前記音声管理サーバに問い合わせる。そして、当該ドットコードに対応する音声データが索出された場合には、音声管理サーバから当該音声データが携帯電話端末にダウンロードされて再生される。
図45は、ユーザが写真シール装置で写真撮影した後に、写真シール装置が、ドットパターンが予め印刷されたシール台紙に写真データが印刷された写真シールを印刷する。
次に、ユーザが携帯電話端末の内蔵カメラで前記写真シールを撮影する。または、ユーザのパーソナルコンピュータにUSB接続されたペンカメラ(ペン状の印刷面読取装置)で前記ドットパターンを撮影し、これをドットコードに変換する。
そして、情報処理端末では、前記ドットコードに関連付けて音声データを入力させる。
そして、ドットコードと関連付けられた音声データとを別の携帯電話端末または別のパーソナルコンピュータに転送する。このとき転送手段としては、携帯電話端末の電子メール機能を用いてもよいし、フラッシュメモリカードを用いてもよい。
そして、転送されたドットコードと音声データを格納した携帯電話端末の内蔵カメラで前記写真シール装置のドットパターンが撮影されると、携帯電話機の中央処理装置(CPU)は、ドットパターンをドットコードに変換し、前記で格納された当該ドットコードに関連付けられた音声データを出力する。
なお、別のパーソナルコンピュータにUSB接続されたペンカメラ(ペン状の印刷面読取装置)で前記ドットパターンを撮影し、これをドットコードに変換して関連付けられた音声データを出力させてもよい。
図46は、図45とほぼ同様であるが、写真シール装置において予約済未使用コードが発行され、発行されたコードを元にドットパターンが生成され、ドットパターンが印刷された写真シールが印刷される点が異なる。
図47および48は、デジタルカメラまたは携帯電話端末で撮影した写真データに対して、予めドットパターンが印刷された用紙にパーソナルコンピュータ等を接続して印刷を行い、このドットパターンのドットコードに対して音声データを関連付けてドットコード管理サーバと音声管理サーバとに登録しておき、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図49および50は、図47および48の変形例であり、パーソナルコンピュータ内にドットコード発行プログラムをインストールしておき、ユーザがデジタルカメラや携帯電話端末で撮影した写真データを印刷する際にドットコードを発行し、この発行されたドットコードをドットコード管理サーバに登録しておく。
そして、パーソナルコンピュータまたは携帯電話端末で音声データを前記ドットコードに関連付けて入力すると、当該音声データを音声管理サーバに登録する。
そして、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図51および52は、前記図49および50の変形例である。
すなわち、パーソナルコンピュータが通信機能を有しており、ユーザがデジタルカメラや携帯電話端末で撮影した写真データを印刷する際に、ドットコード管理サーバにドットコードの発行要求を行い、これに対応してドットコード管理サーバからドットコードが発行されると、当該ドットコードからドットパターンを生成してドットパターンが付加された写真シールを印刷装置から印刷する。
次に、パーソナルコンピュータまたは携帯電話端末で音声データを前記ドットコードに関連付けて入力すると、当該音声データを音声管理サーバに登録する。
そして、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図53および54は、図47および48の変形例である。
すなわち、ユーザは、デジタルカメラや携帯電話端末で写真撮影を行い、この写真データをコンビニエンスストアや写真店店頭の印刷装置で印刷する。このとき、当該印刷装置にはドットパターンの印刷された写真シール台紙がセットされており、印刷された写真シールは前記ドットパターンが読み取り可能となっている。
次に、ユーザはパーソナルコンピュータに接続されたUSBカメラ、スキャナペンまたは携帯電話で前記写真シールのドットパターンを読み込んで、これをドットコードに対して音声データを関連付けてドットコード管理サーバと音声管理サーバとに登録しておく。そして、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図55および56は、図49および50の変形例である。
すなわち、コンビニエンスストアや写真店店頭の印刷装置内にドットコード発行プログラムをインストールしておき、ユーザがデジタルカメラや携帯電話端末で撮影した写真データを印刷する際にドットコードを発行し、この発行されたドットコードをドットコード管理サーバに登録しておく。
そして、パーソナルコンピュータまたは携帯電話端末で音声データを前記ドットコードに関連付けて入力すると、当該音声データを音声管理サーバに登録する。
そして、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図57および58は、図51および52の変形例である。
すなわち、プリント作成装置等の印刷装置が通信機能を有しており、ユーザがデジタルカメラや携帯電話端末で撮影した写真データを印刷する際に、ドットコード管理サーバにドットコードの発行要求を行い、これに対応してドットコード管理サーバからドットコードが発行されると、当該ドットコードからドットパターンを生成してドットパターンが付加された写真シールを印刷装置から印刷する。
次に、パーソナルコンピュータまたは携帯電話端末で音声データを前記ドットコードに関連付けて入力すると、当該音声データを音声管理サーバに登録する。
そして、別のパーソナルコンピュータまたは携帯電話端末で前記写真シールのドットパターンを撮影したときにこれをドットコードに変換してドットコード管理サーバに問い合わせて関連付けられた音声データを音声管理サーバからダウンロードして再生出力するものである。
図59は、図46の変形例である。
すなわち、パーソナルコンピュータにインストールされたドットパターン発生プログラムに基づいて写真データにドットパターンを配置した写真シール装置を印刷しておく。
次に、ユーザが携帯電話端末の内蔵カメラで前記写真シールを撮影する。または、ユーザのパーソナルコンピュータにUSB接続されたペンカメラ(ペン状の印刷面読取装置)で前記ドットパターンを撮影し、これをドットコードに変換する。
そして、パーソナルコンピュータまたは携帯電話端末では、前記ドットコードに関連付けて音声データを入力させる。
そして、ドットコードと関連付けられた音声データとを別の携帯電話端末または別のパーソナルコンピュータに転送する。このとき転送手段としては、携帯電話端末の電子メール機能を用いてもよいし、フラッシュメモリカードを用いてもよい。
そして、転送されたドットコードと音声データを格納した携帯電話端末の内蔵カメラで前記写真シール装置のドットパターンが撮影されると、携帯電話機の中央処理装置(CPU)は、ドットパターンをドットコードに変換し、前記で格納された当該ドットコードに関連付けられた音声データを出力する。
なお、別のパーソナルコンピュータにUSB接続されたペンカメラ(ペン状の印刷面読取装置)で前記ドットパターンを撮影し、これをドットコードに変換して関連付けられた音声データを出力させてもよい。
図60は、図59の変形例であり、ドットパターン発生プログラムをインストールしたパーソナルコンピュータの代わりに、写真シール装置を用いたものである。その他の処理は図59と同様であるので説明は省略する。
図61は、図59の変形例であり、デジタルカメラまたは携帯電話端末で撮影した写真データをコンビニエンスストアや写真店店頭の印刷装置で印刷する点のみが異なる。
図62は、図61とほぼ同様であるが、コンビニエンスストアや写真店店頭の印刷装置で印刷する度にドットコードを発行するようになっている点のみが異なる。
具体例(10)
図63〜66は、プリンタ等の印刷装置、イメージスキャナ等の入力装置、コピー、ファクシミリ等の複写装置に本発明のドットパターンを適用する場合のパラメータを示す一覧表である。
装置構成の図示は省略するが、本具体例の装置は、複写機であり、元原稿を読み取るスキャナ部と、メモリを備えた制御部と、複写枚数等を入力する入力部と、用紙への印刷を行う印刷部と、印刷された用紙を排出する排出部とで構成されている。
制御部では、読み取った元原稿に対して入力部から入力された任意の領域にメモリから読み出したドットパターンを配置して印刷部に印刷指示を行う。
入力部としては、たとえばタッチパネルを用いることができ、読み取り原稿を表示して、任意の座標位置をタッチペン等で指定してドットパターンの配置位置を決定することができるようになっている。本具体例で用いられるドットパターンは前述のGRID−1またはGRID−2で説明したドットパターンが好適であるが、これら以外のアルゴリズムに基づくドットパターンであってもよいことは勿論である。
また、これらのドットパターンは、具体例(1)〜(7)で説明したいわゆるステルスドットパターンとして印刷する(されている)ことが好ましい。
本複写機のメモリには図63〜66に示すようなパラメータテーブルが生成されており、原稿中の任意の領域を指定して印刷制御に関するパラメータをオブジェクト毎に登録しておくことができる。
図67〜図70はその具体例を示したものである。
図67には、表題[1]と、車の図形[2]と、グラフ[3]および[4]が配置されている。そして表題[1]の領域には、セキュリティマークであることを意味するiMRK=1と、オブジェクトのみにドット印刷がなされていることを意味するjMRK=1と、一切のコピー禁止であることを意味するiCNG=1と、セキュリティパラメータのないことを意味するiSTC=0等がドットパターンとして登録される。その他に、最初の印刷を行った出力機器のシリアル番号(NFST)や、複写した際にシリアル番号を付加するか否か(NLST)や、原稿のシリアル番号(NPRT)や、紙面に印刷されるオブジェクト数(MOBJ:ここでは4)や、印刷されるべきオブジェクト番号(NOBJ)や、各オブジェクトに対するアクティブコード(NACT)等がドットパターンとして登録されている。
このように印刷制御パラメータがドットパターンとして原稿に重畳印刷された印刷物として排出されることによって、この印刷物を再度複写機で複写しようとするときに、当該複写機の制御部がオブジェクト毎のドットパターンを解析し、複写そのものを禁止したり、複写枚数を制御することが可能となる。
たとえば、制御部が読み取ったドットパターンからiCNG=1というパラメータを検出したときには一切のコピーが禁止されている原稿であるため、制御部は印刷部への印刷指示を行わない。その代わりに制御部はタッチパネル等に対して「本原稿は複写禁止です」等の表示を行わせる。
また、制御部が読み取ったドットパターンからNCPY=3というパラメータを検出したときには、印刷部に対して3枚までの印刷を指示する。
なお、図68は、「CONFIDENTIAL」と記述された領域がセキュリティマーク(iMRK=1)であることを意味しており、それ以外の家や木はiMRK=0としてオブジェクトの印刷制御はしていないことを意味する。この場合には木や家の部分には音声データ等と関係付けられた情報ドットをドットパターンとして配置しておけばよい。
また、図69は図63〜66のパラメータ表には定義していないが、原稿全体にドットが配置されていることを意味するパラメータ(iARA=0)がドットパターンとして印刷されており、70には、家の部分にのみドットパターンが配置されていることを意味するパラメータ(iARA=1)がドットパターンとして印刷されている。
このように、本具体例では、印刷装置を用いて元原稿の任意の領域に、複写を制御するための印刷制御パラメータを配置印刷することができる。
また、このような印刷制御パラメータを有する印刷物を元原稿としてスキャンしたときに、制御部は、複写印刷そのものを禁止したり、複写枚数や複写範囲を限定する等の制御が可能となる。
以上説明したように、本発明によれば、既存の印刷技術をわずかに改良するだけで、媒体面上のドットパターンの存在を目視では認識できない、いわゆるステルスドットパターンを、簡易かつ安価に実現することができるとともに、複写印刷装置に当該ドットパターンを読み取って複写制御を行うようにすることにより、複写禁止の秘密書類や著作権のある印刷物の複写制限を容易に実現することが可能となる。
なお、本実施形態では、写真シールや紙媒体の表面にドットパターンが配置された例で説明したが、媒体としては、これらの他に、コピー用紙、トレーディングカード、グリーティングカード、各種シール、ブロマイド、フォトアルバム等いかなるものであってもよい。
また、印刷装置としては写真シール撮影装置、カラー複写機、スキャナ付プリンタ等を例示できるが、これら以外の簡易印刷装置等であってもよい。