JP2004112607A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2004112607A
JP2004112607A JP2002274862A JP2002274862A JP2004112607A JP 2004112607 A JP2004112607 A JP 2004112607A JP 2002274862 A JP2002274862 A JP 2002274862A JP 2002274862 A JP2002274862 A JP 2002274862A JP 2004112607 A JP2004112607 A JP 2004112607A
Authority
JP
Japan
Prior art keywords
image
machine
code
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002274862A
Other languages
English (en)
Other versions
JP4029281B2 (ja
Inventor
Onori Tanaka
田中 大典
Hiroshi Sekine
関根 弘
Takahiro Saito
斎藤 崇弘
Hiroyuki Kono
河野 裕之
Hideo Fujii
藤井 英夫
Takanobu Otsubo
大坪 隆信
Akiko Nakamura
中村 明子
Hajime Ichida
市田 一
Junichi Matsunoshita
松野下 純一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2002274862A priority Critical patent/JP4029281B2/ja
Publication of JP2004112607A publication Critical patent/JP2004112607A/ja
Application granted granted Critical
Publication of JP4029281B2 publication Critical patent/JP4029281B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】本発明は、機械可読コードの機械での読み取り精度が低下しない画像処理装置を提供する。
【解決手段】画像処理装置3は、入力された付加情報を所定のデータ長に分割する分割部23と、分割部23により分割された付加情報に基づいて、複数の機械可読コード画像を生成するコード画像生成部26と、コード画像生成部26により生成した複数の機械可読コード画像の配置を決定するコード画像配置部27とを有する。また、コード画像配置部27は、文書画像生成部12からの文書画像を考慮して、機械可読コード画像の配置を決定する。
【選択図】    図2

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関し、特に、文書画像に合成する機械可読コード画像を生成する技術に関する。
【0002】
【従来の技術】
近年、PCの普及や、プリンタおよび複写機の高性能化により、機密文書の不正複写、不正使用が問題になっている。これまで、このような機密文書の不正複写、不正使用を抑制するために、出力されたプリンタや出力したユーザの情報などといった、流通経路を追跡できる情報をプリント画像に付加する技術が提案されている(特許文献1)。
【0003】
特許文献1の技術は、与えられた情報を、人間には判読できず機械で判読可能な機械可読コード画像に変換し、文書データと合成して、プリント画像を生成するものである。この技術により、プライバシーにかかわる情報などを可視化して埋め込むことができ、機密文書の流出経路を確実に特定することができる。さらに、機械で確実に情報を読み込めるように、上記技術では、機械可読コード画像を文書データの背景部分または潜像部分のいずれか一方に繰り返し並べて配置している。
【0004】
【特許文献1】
2001−346032号公報
【発明が解決しようとする課題】
しかしながら、情報を機械可読コードとして埋め込む際、機械可読コード画像の面積によって埋め込む情報のデータ長が制限されてしまう、という問題があった。また、データ長の大きい情報を埋め込む場合、一つの機械可読コード画像の面積が大きくなってしまうため、文書画像との重なる部分が大きくなり、機械可読コードの機械での読み取り精度が低下してしまう、という問題があった。
【0005】
そこで、本発明は上記従来技術の問題点を解決し、データ長の大きい情報を機械可読コードとして埋め込む場合でも、機械可読コードの機械での読み取り精度が低下することのない画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の画像処理装置は、入力された付加情報を所定のデータ長に分割する分割部と、前記分割部により分割された前記付加情報に基づいて、文書画像に合成する複数の機械可読コード画像を生成するコード画像生成部と、を有することを特徴とする。請求項1記載の発明によれば、分割した付加情報に基づいて、複数の機械可読コード画像を生成するようにしたので、1つ当りの機械可読コード画像の面積を小さくして、機械可読コードが文書画像と重なる部分を少なくすることができる。従って、機械可読コードの機械での読み取り精度を向上させることができる。
【0007】
請求項2記載の画像処理装置は、前記画像処理装置は更に、前記文書画像を考慮して、前記コード画像生成部により生成した前記複数の機械可読コード画像の配置を決定するコード画像配置部を有することを特徴とする。請求項2記載の発明によれば、文書画像を考慮して、複数の機械可読コードの配置を決定するようにしたので、例えば、文書画像の空白領域を探索して、その空白領域に機械可読コードを配置することができる。
【0008】
請求項3記載の画像処理装置は、請求項2記載の画像処理装置において、前記コード画像配置部は、前記文書画像の濃淡分布の特徴から前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする。請求項3記載の発明によれば、文書画像の濃度分布の特徴から文書画像の空白領域を探索するようにしたので、この空白領域に複数の機械可読コード画像を配置するようにすれば、機械可読コード画像が文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0009】
請求項4記載の画像処理装置は、請求項2記載の画像処理装置において、前記コード画像配置部は、前記文書画像を印刷する印刷用紙の向きから前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする。請求項4記載の発明によれば、文書画像を印刷する印刷用紙の向き、たとえば、横向き、縦向きなどから文書画像の空白領域を探索するようにしたので、この空白領域に機械可読コード画像を順次配置すれば、機械可読コード画像が文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0010】
請求項5記載の画像処理装置は、請求項2記載の画像処理装置において、前記コード画像配置部は、前記文書画像を印刷する印刷用紙の四隅から前記複数の機械可読コード画像を配置するように決定することを特徴とする。請求項5記載の発明によれば、印刷用紙中、空白領域は四隅に出現しやすくなるので、四隅から機械可読コードを順次配置するようにすれば、機械可読コードが文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0011】
請求項6記載の画像処理装置は、請求項1から5のいずれか一項記載の画像処理装置において、更に、機械可読コードとして埋め込むことができるデータのデータ長を格納するデータ長格納部を有し、前記分割部は、入力された前記付加情報が、前記コードデータ長格納部に格納されるデータ長よりも大きい場合に、前記付加情報を所定の大きさに分割することを特徴とする。請求項6記載の発明のよれば、データ長格納部に格納されている機械可読コード画像に埋め込むことができるデータのデータ長と、入力された付加情報とを比較し、付加情報のデータ長が、コードデータ長格納部に格納されるデータ長よりも大きい場合に、付加情報を所定の大きさに分割し、分割した付加情報に基づいて、複数の機械可読コードを生成するようにしたので、機械可読コード画像が文書画像と重なる部分を小さくすることができ、機械での読み取り精度を向上させることができる。
【0012】
請求項7記載の画像処理装置は、請求項1から6のいずれか一項記載の画像処理装置において、更に、前記分割部により分割された各付加情報にコード番号を付加するコード番号付加部を有することを特徴とする。請求項7記載の発明によれば、分割部により複数に分割された付加情報にコード番号を付加するようにしたので、分割され生成される各機械可読コード画像に通し番号を付加することができるため、印刷された用紙を機械で読み取る際に、ランダムに埋め込まれた機械可読コードを元の順番に戻し、埋め込んだ情報を高速に復元することができる。
【0013】
請求項8記載の画像処理装置は、請求項6又は7記載の画像処理装置において、更に、前記コードデータ長格納部に格納されるデータ長を変更する手段を有することを特徴とする。請求項8記載の発明によれば、コードデータ長格納部に格納されるデータ長を変更することで、印刷する文書画像に応じて機械可読コードの読み取り精度を変更することができる。
【0014】
請求項9記載の画像処理装置は、請求項1から8のいずれか一項記載の画像処理装置において、更に、外部から入力された入力画像と前記機械可読コードを合成する画像合成部を有することを特徴とする。請求項9記載の発明によれば、ネットワークなどを介して供給された入力画像に上記機械可読コードを合成する機能を備えた画像処理装置を実現することができる。
【0015】
請求項10記載の画像処理装置は、請求項1から9のいずれか一項記載の画像処理装置において、更に、原稿を光学的に読み取る読み取り手段と、該読み取り手段が出力する文書画像と前記機械可読コード画像とを合成する画像合成部とを有することを特徴とする。請求項10記載の発明によれば、読み取り手段から供給される入力画像に、上記機械可読コードを合成する機能を備えた画像処理装置を実現することができる。
【0016】
請求項11記載の画像処理装置は、請求項1から10のいずれか一項記載の画像処理装置において、更に、前記文書画像に前記機械可読コード画像を合成するかどうかを選択する手段を有することを特徴とする。請求項11記載の発明によれば、必要に応じて、文書画像に上記機械可読コードを合成するかどうかを選択することができる。
【0017】
請求項12記載の画像処理方法は、入力された付加情報を所定のデータ長に分割する第1の段階と、前記第1の段階により分割された前記付加情報に基づいて、文書画像に合成する複数の機械可読コード画像を生成する第2の段階と、を有することを特徴とする。請求項12記載の発明によれば、分割した付加情報に基づいて、複数の機械可読コードを生成し、これを文書画像の所定の箇所に配置するようにしたので、1つ当りの機械可読コードの面積が小さくなり、機械可読コードが文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上することができる。
【0018】
請求項13記載の画像処理方法は、請求項12記載の画像処理方法において、更に、前記文書画像を考慮して、前記第2の段階により生成した前記複数の機械可読コード画像の配置を決定する第3の段階を有することを特徴とする。請求項13記載の発明によれば、文書画像を考慮して、複数の機械可読コードを配置する位置を決定するようにしたので、例えば、文書画像の空白領域を探索して、その空白領域に機械可読コードを配置することができる。
【0019】
請求項14記載の画像処理方法は、請求項13記載の画像処理方法において、前記第3の段階は、前記文書画像の濃淡分布の特徴から前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする。請求項14記載の発明によれば、文書画像の濃度分布の特徴から文書画像の空白領域を探索するようにしたので、この空白領域に複数の機械可読コード画像を配置するようにすれば、機械可読コードが文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0020】
請求項15記載の画像処理方法は、請求項13記載の画像処理方法において、前記第3の段階は、前記文書画像を印刷する印刷用紙の向きから前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする。請求項15記載の発明によれば、文書画像を印刷する印刷用紙の向き、たとえば、横向き、縦向きなどから文書画像の空白領域を探索し、この空白領域に複数の機械可読コード画像を配置するようにすれば、機械可読コードが文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0021】
請求項16記載の画像処理方法は、請求項13記載の画像処理方法において、前記第3の段階は、前記文書画像を印刷する印刷用紙の四隅から前記複数の機械可読コードを配置するように決定することを特徴とする。請求項16記載の発明によれば、印刷用紙中、空白領域は四隅に出現しやすくなるので、四隅から機械可読コードを順次配置するようにすれば、機械可読コードが文書画像と重なる部分を少なくすることができる。これにより、機械の読み取り精度を向上させることができる。
【0022】
請求項17記載の画像処理方法は、請求項12から16のいずれか一項記載の画像処理方法において、前記第1の段階は、入力された前記付加情報が、コードデータ長格納部に格納される機械可読コードとして埋め込むことができるデータのデータ長よりも大きい場合に、入力された前記付加情報を所定の大きさに分割することを特徴とする。請求項17記載の発明のよれば、データ長格納部に格納されている、機械可読コード画像として埋め込むことができるデータのデータ長と、入力された付加情報とを比較し、付加情報のデータ長が、コードデータ長格納部に格納されるデータ長よりも大きい場合に、入力された付加情報を所定の大きさに分割し、分割した付加情報に基づいて、複数の機械可読コードを生成するようにしたので、機械可読コード画像が文書画像と重なる部分を小さくすることができ、機械での読み取り精度を向上させることができる。
【0023】
請求項18記載の画像処理方法は、請求項12から17のいずれか一項記載の画像処理方法において、更に、前記第1の段階により分割された各付加情報にコード番号を付加する段階を有することを特徴とする。請求項18記載の発明によれば、分割部により複数に分割された付加情報にコード番号を付加するようにしたので、分割され生成される各機械可読コードに通し番号を付加することができるため、印刷された用紙を機械で読み取る際に、ランダムに埋め込まれた機械可読コードを元の順番に戻し、埋め込んだ情報を高速に復元することができる。
【0024】
請求項19記載の画像処理プログラムは、文書画像に合成される機械可読コード画像を生成ためにコンピュータを、入力された付加情報を所定のデータ長に分割する第1の手段、前記第1の手段により分割された前記付加情報に基づいて、複数の機械可読コード画像を生成する第2の手段として機能させる。請求項20記載の画像処理プログラムは、請求項19記載の画像処理プログラムにおいて、更に、前記文書画像を考慮して、前記第2の手段により生成した前記複数の機械可読コード画像の配置を決定する第3の手段を有することを特徴とする。
【0025】
【発明の実施の形態】
(第1の実施の形態)
以下、本発明の実施形態を図面を用いて説明する。図1は、本実施の形態に係る画像処理システム1を示している。図1に示すように、画像処理システム1は、パーソナルコンピュータで構成されたクライアント装置2と、プリント機能及びコピー機能を持ったフルカラー複合機3とが、インターネット等のネットワーク4に接続されている。この画像処理1システムにおいて、クライアント装置2からの指示により文書データの印刷を行う場合には、クライアント装置2に内蔵されたプリンタドライバによって、文書データがPDL(Printer Description Language)で記述された文書データ(PDLデータ)に変換されて、PDLデータがネットワーク4を介して複合機3へ送信される。なお、第1及び第2の実施の形態では、複合機3が画像処理装置に相当する。
【0026】
次に、複合機3の内部構成について説明する。図2は、複合機の内部構成を説明するための図である。図2に示すように、複合機3は、ネットワークインターフェース(以下、ネットワークI/F)5と、制御部6と、画像読み取り部7と、画像処理部8と、画像形成部9と、コントロールパネル10とを有する。
【0027】
ネットワークI/F5は、ネットワーク4を通してクライアント装置2からのPDLデータの受信を行うとともに、その他のネットワーク接続機器との通信を行う。制御部6は、複合機3全体の制御を行う。画像読み取り部7は、原稿を光学的に読み取り、読み取った画像を色変換処理部14に送出する。画像処理部8は、入力された画像に対して所定の処理を行い、処理した画像を形成部9に送出する。画像形成部9は、画像合成部17によって合成された画像を用紙上にプリント出力する。コントロールパネル10は、ユーザーへの情報表示とキー入力を行う。
【0028】
また、画像処理部8は、プリントデータ入力部11、文書画像生成部12、文書画像バッファ13、色変換処理部14、機械可読コード生成部15、コード画像バッファ16、画像合成部17とから構成されている。プリントデータ入力部11は、制御部6から受け取ったPDLデータを文書画像生成部12に出力する。
【0029】
文書画像生成部12は、プリントデータ入力部11から受け取ったPDLデータをラスタ展開して2値画像化された文書画像データを生成し、生成した文書画像データを文書画像バッファ13と後述するコード画像配置部27へ出力する。文書画像バッファ13は、文書画像生成部12で生成された文書画像データを一時格納する。色変換処理部14は、画像読み取り部7で読み取った画像をCMYK(Cyan、Magenta、Yellow、Black)色空間へ変換し、文書画像バッファ13に出力する。
【0030】
機械可読コード生成部15は、入力される付加情報に基づいて、文書画像に合成する機械可読コードを生成し、生成した機械可読コードをコード画像バッファ16に出力する。ここで、付加情報には、例えば、クライアント装置2のIPアドレス、プリント出力を行ったユーザー名、プリント出力を行う文書ファイルのファイル名などが含まれている。この付加情報を機械可読コードとして文書画像に合成することにより、印刷後のドキュメントからこの機械可読コードを読み取れば、クライアント装置やプリント出力を行ったユーザー名などを特定することができる。
【0031】
コード画像バッファ16は、機械可読コード生成部15によって生成された機械可読コード画像データを一旦格納する。画像合成部17は、文書画像データが文書画像バッファ13から読み出され、機械可読コード画像がコード画像バッファ16から読み出されると、両画像データの各画素を論理和演算によって合成し、機械可読コード画像が合成された文書画像データを生成する。この合成された文書画像データは、画像形成部9に出力される。
【0032】
次に、機械可読コード生成部15について説明する。機械可読コード生成部15は、付加情報入力部20と、付加情報符号化部21と、コードデータ長格納部22と、付加情報分割部23と、コード番号付加部24と、コードパターン格納部25と、コード画像生成部26と、コード画像配置部27とを有する。
【0033】
付加情報入力部20には、制御部6から付加情報、すなわち文書画像データに埋め込みたいデータが入力され、この入力された付加情報を付加情報符号化部21へ出力する。付加情報符号化部21は、付加情報入力部20で入力された付加情報を誤り訂正符号化し、コードデータを生成し、生成したコードデータを付加情報分割部23へ出力する。
【0034】
コードデータ長格納部22には、一つの機械可読コードに埋め込むことができるデータのデータ長が格納されている。例えば、一つの機械可読コード画像が図8に示すような機械可読コード画像であれば、この機械可読コード画像データに対応するデータ長が、コードデータ長格納部22に格納されている。なお、コードデータ長格納部22に格納されているデータ長は、コントロールパネル10、又はクライアント装置2の所定の操作により変更することができる。また、データ長そのものを格納する代わりに、一つの機械可読コードの大きさから格納できるデータ長を計算するようにしてもよい。
【0035】
付加情報分割部23は、付加情報符号化部21から入力された付加情報のデータ長Lと、コードデータ長格納部22に格納されているデータ長Cとを比較し、入力された付加情報のデータ長Lが、コードデータ長格納部22に格納されているデータ長Cより大きい場合には、付加情報符号化部21からの付加情報LのコードデータをN個のビット列に分割する。
【0036】
図5は、付加情報をN個のビット列に分割した例を示している。図5に示すように、付加情報のデータ長Lは、コード1、コード2、・・・、コードN−1、コードNというように、N個のビット列に分割されている。コード1〜Nのデータ長は、データ長Cより大きくなることはない。
【0037】
一方、付加情報入力部20で入力された付加情報のデータ長Lが、コードデータ長格納部22に格納されているデータ長Cの倍数でない場合、N番目のコードの末尾に調整用のビット(例えば「0」)を付け加えるようにしてもよい。このように末尾にビット「0」を付け加えることで、N番目のコードが最後のコードであると把握することができる。そして、付加情報分割部23は、分割したN個のビット列をコード画像生成部26に出力する。
【0038】
コード番号付加部24は、付加情報分割部23で分割されたN個のビット列に対して、コード番号nを付加する(1≦n≦N)。そして、コード番号nを付加したN個のビット列をコード画像生成部26に出力する。このように、それぞれの機械可読コードに通し番号を付加することで、機械で機械可読コードを読み取る際に、分割したコードを元の順番に戻し、埋め込んだ情報を高速に復元することができる。
【0039】
コードパターン格納部25は、複数のパターンを格納する。図6は、このコードパターン格納部に格納されるパターンの例を示している。図6の例では、コードパターン格納部25には、2種類のドットパターンが格納されている。ここで、ビット「0」は、図6(a)に示す右下がりの斜線パターン、ビット「1」は、図6(b)に示す左下がりの斜線パターンに対応している。なお、ビット「0」を図6(b)のパターンを対応させ、ビット「1」を図6(a)のパターンを対応させるようにしてもよい。
【0040】
コード画像生成部26は、付加情報分割部23で適正な長さに分割されたN個のビット列それぞれについて、パターン格納部25に格納されたドットパターンを用いて、機械可読コード画像をN個生成し、生成したN個の機械可読コード画像をコード画像配置部27に出力する。
【0041】
コード画像配置部27は、コード画像生成部26で生成されたN個の機械可読コード画像をどのような順序で出力用紙上に配置するかを決定する。この決定する際に、文書画像生成部12からの文書画像データを参照し、入力された文書画像の特徴を取得する。ここで、文書画像の特徴は、例えば、文書画像の濃淡分布、用紙の向き、横書き縦書きの文字列の方向などである。コード画像配置部27で配置が決定されたコード画像は、コード画像バッファ16に格納される。
【0042】
次に、コード画像配置部27での配置例について説明する。図9は、8個の機械可読コード画像が生成される場合の配置順の一例を示したものである。符号1〜8は、各機械可読コード画像を示している。また、矢印は、各機械可読コード画像の配列する順番を示している。図9(a)は、図示するように、コード画像生成部26で生成した8個の機械可読コードを、用紙の横方向に1、2、3、・・・、8の順に順次配置していく配置例を示している。また、図9(b)は、図示するように、コード画像生成部26で生成した8個の機械可読コードを、用紙の縦方向に、1、2、3、・・・、8の順に順次配置していく配置例を示している。また、図9(c)は、図示するように、コード画像生成部26で生成した8個の機械可読コードを、用紙の四隅から1、2、3、・・・、8の順に順次配置していく配置例を示している。
【0043】
このように、機械可読コードを配置する際に、機械可読コードを用紙の端部などの余白が多い箇所に配置するようにすれば、合成される際に、機械可読コードと文書画像データとが重なるのを防ぐことができる。これにより、機械での読み取り精度を向上させることができる。
【0044】
次に、文書画像生成部12からの文書画像データを参照し、文書画像の特徴情報に応じて複数の機械可読コードを配置する例について説明する。図10は、文書画像の特徴に応じて機械可読コードを配置する例である。
【0045】
図10(a)に示すように、印刷用紙は横向きになっている。また、コード画像配置部27は、文書画像の用紙の向きを考慮して、複数の機械可読コード画像1〜8を、紙面横方向に順に配置している。このように、印刷用紙が横向きになっている場合は、用紙の上端と下端に連続した空白領域が出現しやすいので、コード画像配置部27は、機械可読コード画像を横方向に順次配列するようにすれば、文書画像と機械可読コードとの重なりを低減できる。
【0046】
また、図10(b)に示すように、印刷用紙は縦向きになっている。また、コード画像配置部27は、文書画像の用紙の向きを考慮して、複数の機械可読コード画像1〜8を、紙面縦方向に順に配置している。このように、印刷用紙が縦向きになっている場合は、用紙の左端と右端に空白領域が出現しやすいので、コード画像配置部27は、機械可読コードを縦方向に順次配列するようにすれば、文書画像と機械可読コードとの重なりを低減できる。
【0047】
また、図10(c)に示すように、コード画像配置部27は、用紙の四隅から複数の機械可読コード画像1〜8を、順次配置した例である。また、用紙全面に文書画像が出力されている。このように、用紙全体に文書画像が出力される場合は、空白領域は四隅出現しやすくなるので、コード画像配置部27は、機械可読コード画像を四隅から順に配置するようにすれば、文書画像との重なりを低減できる。また、文書画像の濃淡分布の特徴から文書の空白領域を探索し、探索された空白領域から順に機械可読コード画像を配置するようにしてもよい。
【0048】
次に、動作について説明する。クライアント装置2から文書データのプリントを行う際の動作は次のようになる。図1に示すように、まず、ユーザーがクライアント装置2から文書のプリント指示を行う。その際、プリンタドライバが表示するメニュー画像上で、プリントする文書の背景に機械可読コード画像を付加するか否か、付加する場合には所定の設定を行う。この設定を行った後、プリンタドライバは文書データ(アプリケーションデータ)を、PDLデータへ変換し、付加情報をPDLデータのヘッダー部へ付加した後、ネットワーク4を経由して複合機3へ送信する。
【0049】
図2に示すように、ネットワークI/F5で受信されたPDLデータは、制御部6内部のメモリ(図示せず)に一旦格納される。制御部6は、メモリに格納されたPDLデータをチェックし、付加情報が付加されているかを調べる。もし、付加情報が付加されていれば、複合機3の動作モードを機械可読コード合成モードに設定し、さらに付加情報を取り出して、画像処理部8の機械可読コード生成部15へ所定の設定を行う。一方、付加情報が付加されていない場合には、複合機3の動作モードは、通常動作モードに設定される。通常動作モードでは、以下で説明する機械可読コード画像の生成と合成処理は行われない。
【0050】
画像処理部8は、制御部6内部のメモリからPDLデータを読み出し、内部のプリントデータ入力部11を介して、文書画像生成部12へ入力する。文書画像生成部12は、PDLデータをラスタ展開して2値画像化された文書画像データを生成し、生成した文書画像データを文書画像バッファ13とコード画像配置部27へ出力する。
【0051】
その動作と並行して、機械可読コード生成部15は、制御部6から付加情報が付加情報入力部20に入力される。付加情報符号化部21は、付加情報入力部20で入力された付加情報を誤り訂正符号化し、コードデータを生成し、生成したコードデータを付加情報分割部23へ出力する。
【0052】
図3は、付加情報分割部7の処理のフローチャートである。まず、付加情報分割部23は、コードデータ長格納部22に格納されているデータ長Cを取得する(S101)。次に、付加情報分割部23は、付加情報符号化部21からの付加情報のデータ長Lを取得する(S102)。そして、付加情報分割部23は、入力された付加情報のデータ長Lと、コードデータ長格納部22に格納されているデータ長Cとを比較する(S103)。
【0053】
付加情報分割部23は、比較の結果、入力された付加情報のデータ長Lが、コードデータ長格納部22に格納されているデータ長Cより大きい場合には、ステップS104に進み、入力された付加情報から長さCのコードを切り出す。次に、付加情報分割部21は、入力された付加情報のデータ長Lから長さCを引いて、切り出し後の付加情報のデータ長Lを求める(S105)。ステップS103からステップS105の処理をN回繰り返すことにより、入力された付加情報をN個のビット列に分割する。そして、付加情報分割部23は、分割したN個のビット列をコード番号付加部24へ出力する。一方、入力された付加情報のデータ長Lが、コードデータ長格納部22のデータ長Cより小さい場合には、付加情報分割部23は、入力された付加情報のビット列をそのままコード番号付加部24へ出力する。なお、以下では、付加情報がN個のビット列に分割された場合の動作についてのみ説明する。
【0054】
図2に戻って、コード番号付加部24は、付加情報分割部23で分割されたN個のビット列に対して、コード番号nを付加する(1≦n≦N)。そして、コード番号nを付加したN個のビット列をコード画像生成部26に出力する。
【0055】
次に、コード画像生成部の生成処理について説明する。図7は、コード画像生成部26で生成される2次元配列の例を示している。図8は、コード画像生成部26で生成される機械可読コード画像の例を示している。コード画像生成部26は、コード番号付与部24から入力された、コード番号nが付加されたN個のビット列を2次元配列に並び替える。次に、コード画像生成部26は、この2次元配列の最外周のビットを、機械での検出が容易になるように、すべてビット「1」とし、図7に示す2次元配列がN個生成される。
【0056】
次に、コード画像生成部26は、図7に示す2次元配列の各ビットに対応するドットパターンをコードパターン格納部25から読み出して、図8に示す機械可読コード画像をN個生成する。コード画像生成部26は、生成したN個の機械可読コードをコード画像配置部27に出力する。
【0057】
図4は、コード画像配置部の処理のフローチャートである。コード画像配置部27は、図4に示すように、文書画像生成部12からの文書画像データが入力されると、入力された文書画像の特徴を取得する(S201)。また、コード画像配置部27は、コード画像生成部26より機械可読コード画像の数Nを取得する(S202)。そして、コード画像配置部27は、ステップS201で取得した文書画像の特徴からN個のコード画像の配置を決定する(S203)。コード画像配置部27で配置が決定されたコード画像は、コード画像バッファ16に格納される。
【0058】
次に、文書画像、機械可読コード画像の生成が終わると、画像出力動作が行われる。文書画像バッファ13に格納されている文書画像データが読み出され、画像合成部17で画像データにコード画像配置部27で決定された配置に従い、N個の機械可読コード画像が合成され、画像形成部9へ出力される。画像形成部9では、画像合成部17によって合成された画像を用紙上にプリント出力する。
(第2の実施の形態)
次に、本発明による第2の実施の形態について説明する。第1の実施の形態では、クライアント装置2から受信した画像をプリント出力する際に、文書画像に複数の機械可読コード画像を合成する実施形態であったが、本実施形態では、画像読み取り部7から原稿を読み取ってコピー出力を行う際に、文書画像に複数の機械可読コード画像を合成する実施形態である。複合機3の内部構成は、第1の実施形態と同じであるため、図2を参照しつつ、動作について説明する。
【0059】
また、複合機3のコントロールパネル10は、通常コピーモードの設定の他に、機械可読コード画像を付加する動作モードを選択できるようになっている。また、制御部6は、複合機3の機械識別番号等の付加情報を付加情報入力部20に出力する。
【0060】
まず、ユーザーは、コントロールパネル10を操作して機械可読コード画像を付加するモードに設定する。設定が行われると、機械可読コード動作モードに入る。ユーザーは、画像読み取り部7のプラテン上に原稿を置いて、コピー開始ボタン(図示省略)を押すと、コピー動作が開始される。画像読み取り部7によって原稿の読み取りが行われ、色変換処理部14において、CMYK色空間へ変換されて文書画像バッファ13へ格納される。
【0061】
その動作と並行して、機械可読コード生成部15は、制御部6から付加情報が付加情報入力部20に入力される。付加情報符号化部21は、付加情報入力部20から入力された付加情報を誤り訂正符号化し、コードデータを生成し、生成したコードデータを付加情報分割部23へ出力する。付加情報分割部23は、コードデータ長格納部22に格納されているデータ長Cを取得し、付加情報符号化部21で入力された付加情報のデータ長Lを取得する。そして、付加情報分割部23は、入力された付加情報のデータ長Lと、コードデータ長格納部22に格納されているデータ長Cとを比較する。
【0062】
比較の結果、入力された付加情報のデータ長Lが、コードデータ長格納部22に格納されているデータ長Cより大きい場合には、入力された付加情報から長さCのコードを切り出して、入力された付加情報をN個のビット列に分割し、分割したN個のビット列をコード番号付加部24へ出力する。一方、入力された付加情報のデータ長がL、コードデータ長格納部22のデータ長Cより小さい場合には、入力された付加情報のビット列をそのままコード番号付加部24へ出力する。
【0063】
コード番号付加部24は、付加情報分割部23で分割されたN個のビット列に対して、コード番号nを付加する(1≦n≦N)。そして、コード番号nを付加したN個のビット列をコード画像生成部26に出力する。コード画像生成部26は、コード番号付与部24から入力された、コード番号nが付加されたN個のビット列を2次元配列に並び替え、この2次元配列の最外周のビットを、機械での検出が容易になるように、すべてビット「1」とし、図7に示す2次元配列をN個生成する。
【0064】
次に、コード画像生成部26は、図7に示す2次元配列の各ビットに対応するドットパターンをコードパターン格納部25から読み出して、図8に示す機械可読コード画像をN個生成する。コード画像生成部26は、生成したN個の機械可読コード画像をコード画像配置部27に出力する。
【0065】
コード画像配置部27は、文書画像生成部12からの文書画像データが入力されると、入力された文書画像の特徴を取得する。また、コード画像配置部27は、コード画像生成部26より機械可読コード画像の数Nを取得する。そして、コード画像配置部27は、取得した文書画像の特徴からN個のコード画像の配置を決定する。コード画像配置部27で配置が決定されたコード画像は、コード画像バッファ16に格納される。
【0066】
次に、文書画像、機械可読コード画像の生成が終わると、画像出力動作が行われる。文書画像バッファ13に格納されている文書画像データが読み出され、画像合成部17で画像データにコード画像配置部27で決定された配置に従い、N個の機械可読コード画像が合成され、画像形成部9へ出力される。画像形成部9では、画像合成部17によって合成された画像を用紙上にプリント出力する。
【0067】
以上のように、第1及び第2の実施の形態によれば、小さくした複数の機械可読コード画像を文書画像に埋め込むことで、データ量の大きい情報を機械可読コードとして埋め込む際、文書画像との重なりを低減することができ、検出精度の低下を抑えることができる。また、検出の際、用紙の四隅から検出を開始することで高速に検出することが期待できる。
【0068】
また、第1及び第2の実施形態では、機械可読コード生成部15は、複合機3内に設けられる例について説明したが、これに限定されることなく、この機械可読コード生成部15をクライアント装置2内に設けるようにしてもよい。
【0069】
また、上述した各実施の形態は、コンピュータにより実行可能なプログラムによっても実現することが可能である。その場合、そのプログラムおよびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク、光ディスク、磁気ディスク、メモリ等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0070】
これらの記憶媒体にプログラムを格納しておき、例えばコンピュータの光磁気ディスク装置、光ディスク装置、磁気ディスク装置、又はメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラムを読み出し、本発明の画像処理方法を実行することができる。また、予め記憶媒体をコンピュータに装着しておき、例えばネットワークなどを介してプログラムをコンピュータに転送し、記憶媒体にプログラムを格納して実行させてもよい。
【0071】
以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【0072】
【発明の効果】
以上詳述したところから明らかなように、本発明によれば、分割した付加情報に基づいて、複数の機械可読コード画像を生成し配置するようにしたので、機械可読コードが文書画像と重なる部分を少なくして、機械可読コードの機械での読み取り精度を向上させることができる。
【図面の簡単な説明】
【図1】第1の実施の形態に係る画像処理システムを示す図である。
【図2】複合機の内部構成を説明するための図である。
【図3】付加情報分割部の処理のフローチャートである。
【図4】コード画像配置部の処理のフローチャートである。
【図5】付加情報をN個のビット列に分割した例を示す図である。
【図6】コードパターン格納部に格納されるパターンの例を示す図である。
【図7】コード画像生成部で生成される2次元配列の例を示す図である。
【図8】機械可読コード画像の例を示す図である。
【図9】8個の機械可読コードが生成される場合の配置順の一例を示す図である。
【図10】文書画像の特徴に応じて機械可読コードを配置する例を示す図である。
【符号の説明】
7 画像読み取り部
8 画像処理部
15 機械可読コード生成部
17 画像合成部
20 付加情報入力部
21 付加情報符号化部
22 コードデータ長格納部
23 付加情報分割部
24 コード番号付加部
25 コードバターン格納部
26 コード画像生成部
27 コード画像配置部

Claims (20)

  1. 入力された付加情報を所定のデータ長に分割する分割部と、前記分割部により分割された前記付加情報に基づいて、文書画像に合成する複数の機械可読コード画像を生成するコード画像生成部と、
    を有することを特徴とする画像処理装置。
  2. 前記画像処理装置は更に、前記文書画像を考慮して、前記コード画像生成部により生成した前記複数の機械可読コード画像の配置を決定するコード画像配置部を有することを特徴とする画像処理装置。
  3. 前記コード画像配置部は、前記文書画像の濃淡分布の特徴から前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする請求項2記載の画像処理装置。
  4. 前記コード画像配置部は、前記文書画像を印刷する印刷用紙の向きから前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする請求項2記載の画像処理装置。
  5. 前記コード画像配置部は、前記文書画像を印刷する印刷用紙の四隅から前記複数の機械可読コード画像を配置するように決定することを特徴とする請求項2記載の画像処理装置。
  6. 前記画像処理装置は更に、機械可読コードとして埋め込むことができるデータのデータ長を格納するデータ長格納部を有し、
    前記分割部は、入力された前記付加情報が、前記コードデータ長格納部に格納されるデータ長よりも大きい場合に、前記付加情報を所定の大きさに分割することを特徴とする請求項1から5のいずれか一項記載の画像処理装置。
  7. 前記画像処理装置は更に、前記分割部により分割された各付加情報にコード番号を付加するコード番号付加部を有することを特徴とする請求項1から6のいずれか一項記載の画像処理装置。
  8. 前記画像処理装置は更に、前記コードデータ長格納部に格納されるデータ長を変更する手段を有することを特徴とする請求項6又は7記載の画像処理装置。
  9. 前記画像処理装置は更に、外部から入力された入力画像と前記機械可読コードを合成する画像合成部を有することを特徴とする請求項1から8のいずれか一項記載の画像処理装置。
  10. 前記画像処理装置は更に、原稿を光学的に読み取る読み取り手段と、該読み取り手段が出力する文書画像と前記機械可読コード画像とを合成する画像合成部とを有することを特徴とする請求項1から9のいずれか一項記載の画像処理装置。
  11. 前記画像処理装置は更に、前記文書画像に前記機械可読コード画像を合成するかどうかを選択する手段を有することを特徴とする請求項1から10のいずれか一項記載の画像処理装置。
  12. 入力された付加情報を所定のデータ長に分割する第1の段階と、
    前記第1の段階により分割された前記付加情報に基づいて、文書画像に合成する複数の機械可読コード画像を生成する第2の段階と、
    を有することを特徴とする画像処理方法。
  13. 前記画像処理方法は更に、前記文書画像を考慮して、前記第2の段階により生成した前記複数の機械可読コード画像の配置を決定する第3の段階を有することを特徴とする請求項12記載の画像処理方法。
  14. 前記第3の段階は、前記文書画像の濃淡分布の特徴から前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする請求項13記載の画像処理方法。
  15. 前記第3の段階は、前記文書画像を印刷する印刷用紙の向きから前記文書画像における空白領域を探索し、探索した該空白領域を考慮して、前記複数の機械可読コード画像の配置を決定することを特徴とする請求項13記載の画像処理方法。
  16. 前記第3の段階は、前記文書画像を印刷する印刷用紙の四隅から前記複数の機械可読コードを配置するように決定することを特徴とする請求項13記載の画像処理方法。
  17. 前記第1の段階は、入力された前記付加情報が、コードデータ長格納部に格納される機械可読コードとして埋め込むことができるデータのデータ長よりも大きい場合に、入力された前記付加情報を所定の大きさに分割することを特徴とする請求項12から16のいずれか一項記載の画像処理方法。
  18. 前記画像処理方法は更に、前記第1の段階により分割された各付加情報にコード番号を付加する段階を有することを特徴とする請求項12から17のいずれか一項記載の画像処理方法。
  19. 文書画像に合成される機械可読コード画像を生成ためにコンピュータを、
    入力された付加情報を所定のデータ長に分割する第1の手段、
    前記第1の手段により分割された前記付加情報に基づいて、複数の機械可読コード画像を生成する第2の手段、として機能させるための画像処理プログラム。
  20. 前記画像処理プログラムは更に、前記文書画像を考慮して、前記第2の手段により生成した前記複数の機械可読コード画像の配置を決定する第3の手段を有することを特徴とする請求項19記載の画像処理プログラム。
JP2002274862A 2002-09-20 2002-09-20 画像処理装置、画像処理方法、及び画像処理プログラム Expired - Fee Related JP4029281B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002274862A JP4029281B2 (ja) 2002-09-20 2002-09-20 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002274862A JP4029281B2 (ja) 2002-09-20 2002-09-20 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2004112607A true JP2004112607A (ja) 2004-04-08
JP4029281B2 JP4029281B2 (ja) 2008-01-09

Family

ID=32271220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002274862A Expired - Fee Related JP4029281B2 (ja) 2002-09-20 2002-09-20 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4029281B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142490A (ja) * 2005-11-14 2007-06-07 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2007142725A (ja) * 2005-11-17 2007-06-07 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008113239A (ja) * 2006-10-30 2008-05-15 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理プログラム
JP2008124756A (ja) * 2006-11-10 2008-05-29 Ricoh Co Ltd 情報埋込装置、情報抽出装置、情報埋込方法、情報抽出方法、情報埋込プログラム及び情報抽出プログラム
JP2008236619A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 情報埋め込み装置、情報埋め込み方法およびそのプログラム
JP2008263591A (ja) * 2007-03-19 2008-10-30 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム、および記録媒体
US8270033B2 (en) 2007-03-14 2012-09-18 Konica Minolta Business Technologies, Inc. Generating embed-image by dividing embed-information into blocks and generating an information pattern and positioning pattern

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142490A (ja) * 2005-11-14 2007-06-07 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4575873B2 (ja) * 2005-11-14 2010-11-04 株式会社リコー 画像処理装置
JP2007142725A (ja) * 2005-11-17 2007-06-07 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
CN100433784C (zh) * 2005-11-17 2008-11-12 富士施乐株式会社 图像处理装置和方法
US7628329B2 (en) 2005-11-17 2009-12-08 Fuji Xerox Co., Ltd. Image processing device, image processing method and storage medium storing image processing program
JP4595789B2 (ja) * 2005-11-17 2010-12-08 富士ゼロックス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008113239A (ja) * 2006-10-30 2008-05-15 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理プログラム
JP2008124756A (ja) * 2006-11-10 2008-05-29 Ricoh Co Ltd 情報埋込装置、情報抽出装置、情報埋込方法、情報抽出方法、情報埋込プログラム及び情報抽出プログラム
US8270033B2 (en) 2007-03-14 2012-09-18 Konica Minolta Business Technologies, Inc. Generating embed-image by dividing embed-information into blocks and generating an information pattern and positioning pattern
JP2008263591A (ja) * 2007-03-19 2008-10-30 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2008236619A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 情報埋め込み装置、情報埋め込み方法およびそのプログラム

Also Published As

Publication number Publication date
JP4029281B2 (ja) 2008-01-09

Similar Documents

Publication Publication Date Title
JP4609773B2 (ja) 文書データ作成装置及び文書データ作成方法並びに制御プログラム
JP4995057B2 (ja) 描画装置、印刷装置、描画方法、及びプログラム
US20040051885A1 (en) Image processing apparatus, image processing method, and image processing program product
US7505179B2 (en) Print controlling apparatus, method, and storage medium for generating print image data of a particular color space representing a print object document in the form of a plurality of color components
US9094557B2 (en) Print system for placing restrictions on the use of scanned data
JP2010269498A (ja) 画像出力装置及びプログラム
JP5188201B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5288879B2 (ja) 印刷装置及びその制御方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体
JP5430357B2 (ja) 画像形成装置、その制御方法及びプログラム
JP2010004124A (ja) 画像処理装置、制御方法、及びプログラム
US20070127085A1 (en) Printing system, printing method and program thereof
JP4120328B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4029281B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010076193A (ja) 画像形成装置および画像形成制御プログラム
JP2008160418A (ja) 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体
US8179560B2 (en) Image processing apparatus and image processing method
JP2004142432A (ja) 印刷制御装置、印刷制御方法、プリントシステム、プログラム
JP4650250B2 (ja) 画像処理装置及び画像処理方法
JP2004017538A (ja) 個人情報管理装置及び個人情報管理方法
JP2007208519A (ja) 画像処理装置および画像処理方法、並びに画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006121437A (ja) 画像処理装置および画像処理方法、並びに画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011187000A (ja) 画像形成装置、画像形成システム及び制御プログラム
JP2004050606A (ja) 画像処理装置及び画像処理方法
JP2005107777A (ja) 印刷制御装置、方法および媒体
JP5051095B2 (ja) 画像処理装置及び背景画像合成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees