JP2007201659A - 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム - Google Patents

画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム Download PDF

Info

Publication number
JP2007201659A
JP2007201659A JP2006015843A JP2006015843A JP2007201659A JP 2007201659 A JP2007201659 A JP 2007201659A JP 2006015843 A JP2006015843 A JP 2006015843A JP 2006015843 A JP2006015843 A JP 2006015843A JP 2007201659 A JP2007201659 A JP 2007201659A
Authority
JP
Japan
Prior art keywords
image
patterns
information
pattern
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006015843A
Other languages
English (en)
Other versions
JP4771283B2 (ja
Inventor
Junichi Matsunoshita
純一 松野下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006015843A priority Critical patent/JP4771283B2/ja
Priority to US11/491,154 priority patent/US20070171480A1/en
Priority to CN2006101317620A priority patent/CN101009754B/zh
Priority to KR1020060106426A priority patent/KR100842049B1/ko
Publication of JP2007201659A publication Critical patent/JP2007201659A/ja
Application granted granted Critical
Publication of JP4771283B2 publication Critical patent/JP4771283B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • H04N1/0087Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message with hidden additional data, e.g. data invisible to the human eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00883Auto-copy-preventive originals, i.e. originals that are designed not to allow faithful reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H04N2201/323Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image for tracing or tracking, e.g. forensic tracing of unauthorized copies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Abstract

【課題】情報が埋め込まれた原稿がコピーされた場合においても、コピーされた原稿から、埋め込まれた情報を効果的に検出することができる画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置は、複数の微小パターンを配列したパターン画像を生成し、隣接するパターン間の位置関係により、追跡情報を含む情報を埋め込む。パターンは格子状に配置され、各パターンを上下方向にずらすことにより、情報が埋め込まれる。図中の矢印vで示されるように、2つのパターンの距離が長い場合、パターンのペアはビット「0」を示し、矢印wで示されるように、2つのパターンの距離が短い場合、パターンのペアはビット「1」を示す。さらに、画像処理装置は、各微小パターンの形状により、情報をさらに埋め込む。本例では、右上がりの形状のパターンはビット「0」を示し、右下がりの形状のパターンはビット「1」を示す。
【選択図】図1

Description

本発明は、情報を画像に埋め込み、情報が埋め込まれた印刷物から当該情報を検出する画像処理装置に関する。
近年、パーソナルコンピュータやプリンタ、複写機の普及によって、プリントアウトされた機密文書の不正コピーによる情報漏洩の問題が出てきている。機密文書の不正コピー抑制のために、機密文書のプリント時にプリントを行ったユーザに関する情報、日時情報、出力した機器の識別情報等(以下、追跡情報と呼ぶ)を埋め込んで出力し、プリント出力された原稿をスキャナ等で読み込み、読み取られた画像中に埋め込まれたユーザ、クライアントPC、プリンタ、日時等を解析することで、情報漏洩元を推定することがよく知られている。
特許文献1において、文書画像中に追跡情報を埋め込む方法として、文書画像の背景全面に微小なパターンで比較的低濃度の背景地紋画像を合成する方法が提案されている。この方法では、背景地紋画像は、潜像文字領域と背景領域の2つの領域で構成されており、それぞれの領域は、異なる微小パターンで構成されている。潜像文字領域は、比較的小さいドットパターンで構成され、背景領域は、2種類の微小な斜線パターンの配列で構成されている。この2種類の斜線パターンがそれぞれビット0、ビット1を表現し、その2種類の斜線パターンを所定サイズの2次元配列とした2次元コード画像が、背景部に互いに隣接して繰り返し配置されるようになっている。追跡情報は、その背景地紋画像中の2次元コード画像に埋め込まれる。
このような情報漏洩抑止のための手法では、文書に埋め込まれた追跡情報を確実に読み出すことが要求される。さらに、プリント時に追跡情報が埋め込まれたオリジナル原稿からだけではなく、そのオリジナル原稿がコピー機でコピーされた原稿からも、追跡情報を読み出せることが要求される。
しかしながら、特許文献1に開示された手法では、コピー濃度、原稿画質モード、拡大縮小倍率などの多くのコピー条件が設定可能であるコピー機において、例えば、オリジナル原稿が、コピー濃度をもっとも薄くなるように設定してコピーされた場合、コピー出力画像では背景地紋画像が薄くなるため、コピーされた画像からは埋め込まれた追跡情報が読み出されにくくなる。また、コピーされた原稿がその条件で繰り返し世代コピーされた場合、埋め込まれた追跡情報を読み出せなくなる場合がある、という課題がある。
特許文献2において、3つ以上のドットの相対位置関係(ベクトル)によって情報を埋め込む手法が開示されている。しかしながら、この手法はドットを3つ以上使うので、情報容量が少なくなってしまう。また、この手法では、ジェネレーションコピー耐性については考慮されていない。
特許文献3において、隣接するドット間距離の分布を特徴量としてコピー禁止か否かを判定する手法が開示されている。しかしながら、この手法では、デジタル情報を埋め込むことは考慮されていない。
特開2003−280469号公報 特開2004−128845号公報 特開2004−166180号公報
本発明は、上述した背景からなされたものであり、情報が埋め込まれた原稿がコピーされた場合においても、コピーされた原稿から、埋め込まれた情報を効果的に検出することができる画像処理装置を提供することを目的とする。
上記目的を達成するために、本発明に係る第1の画像処理装置は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段とを有する。
好適には、前記コード画像生成手段は、形状の異なる複数のパターンを配列するパターン配列手段と、所定の情報に基づいて、前記パターン配列手段により配列された隣接するパターン間の位置関係を調節するパターン位置調節手段とを有する。
好適には、前記パターン配列手段は、第1の情報に基づいてパターンを配列し、前記パターン位置調節手段は、第2の情報に基づいて隣接するパターン間の位置関係を調節する。
好適には、前記パターン位置調節手段は、少なくとも第1の情報の一部を含む第2の情報に基づいて隣接するパターン間の位置関係を調節する。
また、好適には、前記パターン位置調節手段は、上下方向に隣接するパターン間の距離を調節する。
また、好適には、前記パターン位置調節手段は、左右方向に隣接するパターン間の距離を調節する。
好適には、前記情報には、前記画像合成手段により合成された画像を識別する識別情報が含まれる。
本発明に係る第2の画像処理装置は、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段とを有する。
本発明に係る第3の画像処理装置は、画像に含まれる複数のパターンを検出するパターン検出手段と、前記パターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出手段とを有する。
本発明に係る第4の画像処理装置は、読取画像を受け付ける受付手段と、前記受付手段により受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出手段と、前記第1のパターン検出手段により検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出手段と、前記受付手段により受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出手段と、前記第2のパターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出手段とを有する。
好適には、前記第1の情報検出手段は、前記第2の情報検出手段により検出された第2の情報にさらに基づいて第1の情報を検出する。
好適には、前記第2の情報検出手段は、前記第1の情報検出手段により検出された第1の情報にさらに基づいて第2の情報を検出する。
また、本発明に係る第1の画像形成装置は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と、前記画像合成手段により合成された合成画像を出力する出力手段とを有する。
本発明に係る第2の画像形成装置は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と、前記画像合成手段により合成された合成画像を出力する出力手段と、前記出力手段により出力された画像を読み取る読取手段と、前記読取手段により読み取られた読取画像に含まれる複数のパターンを検出するパターン検出手段と、前記パターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出手段とを有する。
また、本発明に係る地紋画像は、第1の情報に基づいて、形状の異なる複数のパターンが配列されており、第2の情報に基づいて、前記配列された隣接するパターン間の位置関係が調節されている。
また、本発明に係る印刷物は、地紋画像が印刷された印刷物であって、前記地紋画像には、形状の異なる複数のパターンが、第1の情報に基づいて配列されており、前記配列された隣接するパターン間の位置関係は、第2の情報に基づいて調節されている。
本発明に係る第1の画像処理方法は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、前記生成されたコード画像と文書画像とを合成する。
本発明に係る第2の画像処理方法は、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成し、前記生成されたコード画像と文書画像とを合成する。
本発明に係る第3の画像処理方法は、画像に含まれる複数のパターンを検出し、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する。
本発明に係る第4の画像処理方法は、読取画像を受け付け、前記受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出し、前記検出された複数のパターンの配列に基づいて第1の情報を検出し、前記受け付けられた読取画像に含まれる複数のパターンを検出し、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する。
本発明に係る第5の画像処理方法は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、前記生成されたコード画像と文書画像とを合成し、前記合成された合成画像を出力し、前記出力された画像を読み取り、前記読み取られた読取画像に含まれる複数のパターンを検出し、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する。
本発明に係る画像形成方法は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、前記生成されたコード画像と文書画像とを合成し、前記合成された合成画像を出力する。
また、本発明に係る第1のプログラムは、コンピュータを含む画像処理装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップとを前記画像処理装置のコンピュータに実行させる。
また、本発明に係る第2のプログラムは、コンピュータを含む画像処理装置において、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップとを前記画像処理装置のコンピュータに実行させる。
また、本発明に係る第3のプログラムは、コンピュータを含む画像処理装置において、読取画像を受け付ける受付ステップと、前記受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出ステップと、前記検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出ステップと、前記受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出ステップと、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出ステップとを前記画像処理装置のコンピュータに実行させる。
さらに、本発明に係る第4のプログラムは、コンピュータを含む画像形成装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップと、前記合成された合成画像を出力する出力ステップとを前記画像形成装置のコンピュータに実行させる。
また、本発明に係る第5のプログラムは、コンピュータを含む画像形成装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップと、前記合成された合成画像を出力する出力ステップと、前記出力された画像を読み取る読取ステップと、前記読み取られた読取画像に含まれる複数のパターンを検出するパターン検出ステップと、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出ステップとを前記画像形成装置のコンピュータに実行させる。
また、本発明に係る第1のコンピュータ読み取り可能な記録媒体は、コンピュータを含む画像処理装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップとを前記画像処理装置のコンピュータに実行させるプログラムを記憶する。
また、本発明に係る第2のコンピュータ読み取り可能な記録媒体は、コンピュータを含む画像処理装置において、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップとを前記画像処理装置のコンピュータに実行させるプログラムを記憶する。
また、本発明に係る第3のコンピュータ読み取り可能な記録媒体は、コンピュータを含む画像処理装置において、読取画像を受け付ける受付ステップと、前記受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出ステップと、前記検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出ステップと、前記受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出ステップと、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出ステップとを前記画像処理装置のコンピュータに実行させるプログラムを記憶する。
さらに、本発明に係る第4のコンピュータ読み取り可能な記録媒体は、コンピュータを含む画像形成装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップと、前記合成された合成画像を出力する出力ステップとを前記画像形成装置のコンピュータに実行させるプログラムを記憶する。
また、本発明に係る第5のコンピュータ読み取り可能な記録媒体は、コンピュータを含む画像形成装置において、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、前記生成されたコード画像と文書画像とを合成する画像合成ステップと、前記合成された合成画像を出力する出力ステップと、前記出力された画像を読み取る読取ステップと、前記読み取られた読取画像に含まれる複数のパターンを検出するパターン検出ステップと、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出ステップとを前記画像形成装置のコンピュータに実行させるプログラムを記憶する。
本発明の画像処理装置によれば、情報が埋め込まれた原稿がコピーされた場合においても、コピーされた原稿から、埋め込まれた情報を効果的に検出することができる。
図1は、本発明に係る画像処理装置による追跡情報の埋め込み方法を説明する図であって、図1(A)は、印刷されたオリジナル原稿を例示し、図1(B)は、このオリジナル原稿がコピーされたコピー画像を例示する。
図1(A)に示すように、本発明に係る画像処理装置は、複数の微小パターンを配列したパターン画像を生成し、隣接するパターン間の位置関係により、追跡情報を含む情報を埋め込む。
パターンは格子状に配置され、各パターンを上下方向及び左右方向の少なくともいずれかにずらすことにより、情報は埋め込まれる。また、隣接する2個のパターンを一組として、当該組のうち一方のパターンを固定し、他方のパターンを上下方向及び左右方向の少なくともいずれかにずらすことにより、情報が埋め込まれてもよい。なお、パターンの移動方向、ペアとされるパターンの位置関係、及び一組に含まれるパターン数は、本例に限定されない。
例えば、図1(A)では、上下方向に隣接するパターンが一組とされ、格子状に配置された複数のパターンのうち、奇数段のパターン(ペアのうち上に配置されているパターン)が固定され、偶数段のパターン(ペアのうち下に配置されているパターン)が上下方向に移動され、ペアに含まれる2つのパターンの位置関係により情報が埋め込まれる。本例では、図中の矢印vで示されるように、2つのパターンの距離が長い場合、パターンのペアはビット「0」を示し、矢印wで示されるように、2つのパターンの距離が短い場合、パターンのペアはビット「1」を示す。
また、本発明に係る画像処理装置は、各微小パターンの形状により、情報をさらに埋め込む。本例では、右上がりの形状のパターンはビット「0」を示し、右下がりの形状のパターンはビット「1」を示す。
また、本発明に係る画像処理装置は、パターンの太さ(背景濃度)を調節することにより、コピー時におけるパターンの消失を防止する。画像処理装置は、コピーされても確実に残したい情報(例えば、追跡情報)をパターンの位置関係により埋め込み、それ以外の情報(例えば、コピー許可条件)をパターンの形状により埋め込んでもよい。
このようにして情報が文書に埋め込まれると、図1(B)に示すように、文書がコピーされ、パターンの形状が崩れてしまった場合においても、パターンの位置関係により埋め込まれた情報は、少なくとも検出されることができる。したがって、コピー耐性が向上する。また、本発明に係る画像処理装置は、1個のパターンに対して、パターンの形状、上下方向の位置及び左右方向の位置の少なくとも3つの情報を埋め込むことが可能であるので、埋め込まれる情報容量を増加させることができる。さらに、情報がパターンの形状のみにより埋め込まれた場合であっても、当該情報は検出されるので、互換性がある。
次に、本発明の実施形態を説明する。
図2は、画像形成装置10を含む画像形成システム1を示す。
図2に示すように、画像形成システム1は、ネットワーク3を介して接続された画像形成装置10及びパーソナルコンピュータ(PC)等の端末装置5を含む。
端末装置5は、画像をCRT表示装置あるいは液晶表示装置に表示し、この画像データを画像形成装置10に対して送信して印刷を依頼する。端末装置5は、ネットワーク3を介して信号を送受信する通信装置を有するPC以外の端末であってもよい。ネットワーク3は、有線であってもよいし、無線であってもよい。また、複数の端末装置5及び画像形成装置10がネットワーク3に接続されていてもよい。
図3は、本発明に係る画像処理方法が適応される画像処理装置2のハードウェア構成を、制御装置20を中心に示す図である。
図3に示すように、画像形成装置10は、プリンタ部12、スキャナ部14及び画像処理装置2を有する。プリンタ部12は、後述する制御装置20の制御により、画像処理装置2により所定の画像処理が施された画像データを用紙上に印字記録して出力する。スキャナ部14は、制御装置20の制御により、プラテンに置かれた原稿を読み取って、画像データを画像処理装置2に対して出力する。
画像処理装置2は、CPU202及びメモリ204などを含む制御装置20、ネットワーク3を介してデータの送受信を行う通信装置22、HDD、CD並びにDVD装置などの記録装置24、及びLCD表示装置あるいはCRT表示装置及びキーボードあるいはタッチパネルなどを含み、ユーザからの操作を受け付けるユーザインターフェース装置(UI装置)26を有する。画像処理装置2は、例えば、後述する画像処理プログラム4がインストールされた汎用コンピュータである。
図4は、制御装置20により実行され、本発明に係る画像処理方法を実現する画像処理プログラム4の機能構成を示す図である。
図4に示すように、画像処理プログラム4は、制御部40、文書画像生成部42、文書画像バッファ44、地紋画像生成部46、地紋画像バッファ48、ページバッファ50、スキャン画像処理部52、画像合成部54及び追跡情報検出部56を含む。なお、画像処理プログラム4の全部又は一部の機能は、画像形成装置10に設けられた例えばASICなどのハードウェアにより実現されてもよい。
画像処理プログラム4は、このような構成により、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、前記生成されたコード画像と文書画像とを合成する。また、画像処理プログラム4は、画像形成装置10により読み取られた画像に含まれる複数のパターンを検出し、前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する。
画像処理プログラム4において、制御部40は、プリンタ部12、スキャナ部14及び他の構成要素の制御を行う。また、制御部40は、通信装置22を介してデータの送受信を行い、UI装置26を介してユーザからの操作を受け付けて各構成要素に対して出力し、各構成要素の出力結果をUI装置26に表示する。より具体的には、制御部40は、端末装置5からネットワーク3を介して送信された印刷対象の文書データを通信装置22を介して受け付ける。ここで、文書データは、例えばPDL(プリント記述言語)形式のものである。
また、制御部40は、後述する追跡情報検出部56により検出された情報(追跡情報等)をUI装置26に表示する。さらに、制御部40は、検出された追跡情報からジョブログIDを抽出する。抽出されたジョブログIDが、当該画像形成装置10内部のジョブログデータに存在する場合、制御部40は、当該データ及び当該ジョブログIDに対応づけられている文書画像データあるいはそのサムネイルをUI装置26に表示する。
文書画像生成部42は、制御部40から入力されるPDL形式の文書データの描画処理を行って文書画像データを生成する。より具体的には、文書画像生成部42は、PDLの解釈とYMCKフルカラー画像データへの展開(ラスタライズ)を行う。文書画像生成部42は、ラスタライズされた文書画像データを文書画像バッファ44に格納する。
文書画像バッファ44は、文書画像生成部42により生成された文書画像データを記憶する。文書画像バッファ44は、メモリ、ハードディスクドライブ等により実現される。
地紋画像生成部46は、制御部40により制御されて、背景地紋画像データを生成して地紋画像バッファ48に格納する。より具体的には、背景地紋画像合成モードが、管理者等により予め設定されている場合、地紋画像生成部46は、制御部40により設定される付加情報に基づいて背景地紋画像を生成する。例えば、背景地紋画像データは2値の画像データであり、背景地紋画像の解像度はプリンタ部12の解像度(例えば、600dpi)と同じである。
付加情報には、追跡情報及び予め設定されている潜像情報が含まれる。追跡情報には、第1追跡情報及び第2追跡情報が含まれ、潜像情報には、潜像文字列情報、潜像絵柄情報、階調値情報等が含まれる。第1追跡情報には、例えば、送信された文書データのヘッダに付加されている送信元IPアドレス、送信元PCクライアント名、送信元ユーザ名並びに文書名、画像形成装置毎に割り当てられている画像形成装置識別ID、管理者等により予め設定されているコピー禁止/許可情報、及び制御部40内部のタイマから取得された出力開始日時が含まれる。第2追跡情報には、例えば、プリントジョブ受け付け時に割り当てられる一意のジョブログIDが含まれる。ジョブログIDにより、第2追跡情報が埋めこまれた画像が一意に識別される。第2追跡情報には、少なくとも第1追跡情報の少なくとも一部が含まれてもよい。
なお、背景地紋画像生成処理については、後で詳述する。
地紋画像バッファ48は、地紋画像生成部46により生成された背景地紋画像データを記憶する。地紋画像バッファ48は、文書画像バッファ44と同様にして実現される。
画像合成部54は、背景地紋画像合成モードが管理者等により予め設定されている場合、プリンタ部12に同期して、文書画像バッファ44及び地紋画像バッファ48からそれぞれ文書画像及び背景地紋画像を読み出し、文書画像の設定されている色成分へ背景地紋画像を論理和合成して、プリンタ部12に対して出力する。また、画像合成部54は、スキャナ部14から入力された画像データを後述するスキャン画像処理部52から受け付けて、この画像と背景地紋画像とを合成してプリンタ部12に対して出力する。一方、背景地紋非合成モードが設定されている場合、画像合成部54は、プリンタ部12に同期して文書画像バッファ44から文書画像を読み出し、プリンタ部12に対して出力する。
追跡情報検出部56は、スキャナ部14により読み取られた画像データを受け付け、画像に埋め込まれた情報(追跡情報を含む)を検出して制御部40に対して出力する。画像から情報が検出されない場合、追跡情報検出部56は、その旨を制御部40に対して通知する。なお、情報検出方法については、後で詳述する。
ページバッファ50は、スキャナ部14により読み取られた画像データを記憶する。ページバッファ50は、文書画像バッファ44と同様にして実現される。
スキャン画像処理部52は、制御部40により制御されて、所定の契機にページバッファ50から画像を読み出し、色変換処理、階調補正処理等の画像処理を画像に対して施して画像合成部54に対して出力する。
図5は、地紋画像生成部46の詳細を示す図である。
図5に示すように、地紋画像生成部46は、第1符号化部460、潜像生成部462、第2符号化部464、パターン画像生成部466、パターン記憶部468及びパターン位置変調部470を含む。地紋画像生成部46は、これらの構成要素により、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像(即ち、背景地紋画像)を生成するコード画像生成手段を構成する。
潜像生成部462は、制御部40から入力された潜像情報に基づいて潜像画像を生成する。潜像情報は、パターン画像にどのような潜像文字等を埋め込むかを示すものであり、より具体的には、潜像の文字列、フォント種類、フォントサイズ、潜像文字列の方向(角度)等を含む。潜像生成部462は、潜像情報を受け取ると、指定されたフォント種類、フォントサイズで、指定された方向に潜像文字列を描画し、2値の潜像画像を生成する。潜像画像の解像度は、プリンタの解像度をパターンのサイズで割った解像度である。例えば、プリンタ解像度が600DPIであり、パターンのサイズが12画素×12画素である場合、潜像画像の解像度は50DPIとなる。潜像生成部462は、生成した潜像画像をパターン画像生成部466に対して出力する。
第1符号化部460は、入力された第1追跡情報に対して誤り訂正符号化を行い、誤り訂正符号化後のビット列を2次元に並べて、ビット0及びビット1の配列からなる所定サイズのビット配列(第1コード)を生成する。第1符号化部460は、この第1コードを縦横に繰り返し配置して、潜像生成部462により生成される潜像画像と同じサイズのビット配列(第1ビット配列)を生成する。第1符号化部460は、生成した第1ビット配列をパターン画像生成部466に対して出力する。なお、第1コードについては、後で詳述する。
第2符号化部464は、入力された第2追跡情報に対して誤り訂正符号化を行い、誤り訂正符号化後のビット列を2次元に並べて、ビット0及びビット1の配列からなるコード(第2コード)を生成する。第2符号化部464は、生成した第2コードを縦横に繰り返し配置して、潜像画像と同じサイズのビット配列(第2ビット配列)を生成する。第2符号化部464は、生成した第2ビット配列をパターン位置変調部470に対して出力する。なお、第2コードについては、後で詳述する。
パターン画像生成部466は、潜像生成部462により生成された潜像画像、第1符号化部460により生成された第1ビット配列、及びパターン記憶部468に記憶されている後述するパターンに基づいて、パターン画像を生成する。パターン画像生成部466は、生成したパターン画像をパターン位置変調部470に対して出力する。なお、パターン画像生成処理については、後で詳述する。
パターン位置変調部470は、第2符号化部464により生成された第2ビット配列に基づいて、パターン画像生成部466により生成されたパターン画像の隣接するパターン間の位置関係を調節して、背景地紋画像を生成する。このとき、パターン位置変調部470は、上下方向に隣接するパターン間の距離を調節する。なお、パターン位置変調部470は、左右方向に隣接するパターン間の距離を調節してもよい。ここで、第2ビット配列の1ビットは、パターン画像中の上下方向に隣接する2個のパターンの組(例えば、12画素×24画素)に対応する。 パターン位置変調部470は、生成した背景地紋画像を地紋画像バッファ48に格納する。なお、パターン位置の調整方法については、後で詳述する。
図6は、第1コード及び第2コードを例示する図であって、図6(A)は、第1符号化部460により生成される第1コードを例示し、図6(B)は、第2符号化部464により生成される第2コードを例示する。
図6(A)に例示するように、第1コードは「0」及び「1」からなるビット配列である。第1コードにおいて、その外周の各ビットは、情報検出時の第1コードの切り出し位置を示す同期ビット(同期コード)であり、例えば、全て「1」である。
図6(B)に例示するように、第2コードも「0」及び「1」からなるビット配列である。第2コードにおいても同様に、その外周の各ビットは、情報検出時の第2コードの切り出し位置を示す同期ビットであり、例えば、全て「1」である。また、本例では、第2コードの縦方向の大きさは、第1コードのものの半分である。
図7は、パターン記憶部468に記憶され、パターン画像生成部466により参照されるパターンを示す図である。
パターン画像生成部466は、潜像画像及び第1ビット配列を例えば左上から順に参照し、潜像画像の画素値と第1ビット配列のビット値とに基づいてパターン記憶部468に記憶されているパターン(図7(A)〜図7(C))のいずれか1つを選択して、パターン画像を生成していく。
ここで、潜像画像が白画素であり、かつ第1ビット配列のビット値が1である場合、図7(A)に示されるパターンが選択される。
潜像画像が白画素であり、かつ第1ビット配列のビット値が0である場合、図7(B)に示されるパターンが選択される。
潜像画像が黒画素である場合、図7(C)に示されるパターンが選択される。
生成されたパターン画像は、潜像画像の文字部分が、孤立ドットパターン(図7(C))に変換され、潜像画像の背景部分が、第1コードのビット値(0又は1)に対応した斜線パターン(図7(A),(B))に変換されたものになる。このため、パターン画像は、潜像画像の1画素が、12画素×12画素の1つのパターンに対応するようにして生成される。よって、パターン画像の解像度は、プリンタの解像度に一致する。例えば、潜像画像が50DPIの場合、パターン画像は、50DPI×12画素=600DPIとなる。このようにして、パターン画像生成部466は、形状の異なる複数のパターンを配列してパターン配列手段を構成する。
図8は、パターン位置変調部470によるパターン位置の調整方法を説明する図であって、図8(A)は、隣接するパターンからなるパターン組を示し、図8(B)及び図8(C)は、パターン位置変調部470によりパターン間の距離が調節されたパターン組を示す。
パターン位置変調部470は、第2ビット配列の例えば左上から順にビット値を参照し、当該参照されたビットの位置に対応するパターン画像のパターン組において、例えば、下のパターンの位置を上下いずれかの方向に所定画素分ずらす。
ここで、第2コードのビット値が1である場合、図8(B)に示されるように、下パターンが上方向に2画素ずらされる。
第2コードのビット値が0である場合、図8(C)に示されるように、下パターンが下方向に2画素ずらされる。
このようにして、パターン位置変調部470は、パターン画像生成部466により配列された隣接するパターン間の位置関係を調節してパターン位置調節手段を構成する。
図9は、画像処理装置2により生成された背景地紋画像が印刷された印刷物を説明する図であって、図9(A)は、背景地紋画像が印刷された印刷物を例示し、図9(B)は、この印刷物がコピーされたコピー原稿を例示し、図9(C)は、図(A)における領域Sを拡大した背景地紋画像を示す図である。
図9(A)及び図9(B)に例示するように、印刷物がコピーされると、潜像画像において黒画素である領域(図中の「COPY」という文字で表される領域)が白く印刷され、潜像画像が現れる。なお、「COPY」という文字は、人間には知覚されないものであり、コピーされて初めて知覚されるものである。
また、背景地紋画像は、第1の情報に基づいて形状の異なる複数のパターンが配列されており、第2の情報に基づいて前記配列された隣接するパターン間の位置関係が調節されているものである。図9(C)に例示するように、印刷物は、背景地紋画像が印刷された印刷物であって、この背景地紋画像には、形状の異なる複数のパターンが第1の情報(第1コード)に基づいて配列されており、当該配列された隣接するパターン間の位置関係は、第2の情報(第2コード)に基づいて調節されている。本例の印刷物では、潜像画像において黒画素である領域は、孤立ドットパターンであり、潜像画像において白画素である領域は、いずれかの斜線パターンである。
図10は、画像処理プログラム4による背景地紋画像生成処理(S10)を示すフローチャートである。
図10に示すように、ステップ100(S100)において、地紋画像生成部46は、制御部40から付加情報(潜像情報、第1追跡情報、第2追跡情報)を入力する。
ステップ102(S102)において、地紋画像生成部46の潜像生成部462は、入力された潜像情報に基づいて潜像画像を生成する。
ステップ104(S104)において、第1符号化部460は、入力された第1追跡情報に基づいて第1コードを生成し、この第1コードを繰り返して配置して第1ビット配列を生成する。
ステップ106(S106)において、第2符号化部464は、入力された第2追跡情報に基づいて第2コードを生成し、この第2コードを繰り返して配置して第2ビット配列を生成する。
ステップ108(S108)において、パターン画像生成部466は、潜像生成部462により生成された潜像画像、第1符号化部460により生成された第1ビット配列、及びパターン記憶部468に記憶されている形状の異なる複数のパターンに基づいて、パターン画像を生成する。
ステップ110(S110)において、パターン位置変調部470は、第2符号化部464により生成された第2ビット配列に基づいて、パターン画像生成部466により生成されたパターン画像の隣接するパターン間の位置関係を調節して、背景地紋画像を生成する。パターン位置変調部470は、この背景地紋画像を地紋画像バッファ48に格納する。
図11は、本発明の実施形態に係る画像形成装置10による印刷処理(S20)を示すフローチャートである。
図11に示すように、ステップ200(S200)において、画像形成装置10は、端末装置5からネットワーク3を介して送信されたPDL形式の文書データを受け付ける。画像処理プログラム4の制御部40は、この文書データを文書画像生成部42に対して出力する。
ステップ202(S202)において、文書画像生成部42は、PDLを解釈し、当該文書データの描画処理を行って文書画像データを生成する。文書画像生成部42は、生成した文書画像データを文書画像バッファ44に格納する。
ステップ204(S204)において、制御部40は、背景地紋画像合成モードが設定されているか否かを判定する。制御部40は、当該モードが設定されている場合にはS206の処理に進み、そうでない場合にはS208の処理に進む。
ステップ206(S206)において、制御部40は、潜像情報と第1追跡情報と第2追跡情報とを含む付加情報を地紋画像生成部46に対して出力し、付加情報が地紋画像生成部46に設定される。その後、背景地紋画像生成処理(図10;S10)が地紋画像生成部46により行われ、背景地紋画像が生成されて地紋画像バッファ48に格納される。
ステップ208(S208)において、画像合成部54は、制御部40の制御により、背景地紋画像合成モードが設定されている場合、プリンタ部12に同期して、文書画像バッファ44及び地紋画像バッファ48からそれぞれ文書画像及び背景地紋画像を読み出し、これらの画像を合成してプリンタ部12に対して出力する。背景地紋非合成モードが設定されている場合、画像合成部54は、プリンタ部12に同期して文書画像バッファ44から文書画像を読み出し、プリンタ部12に対して出力する。
ステップ210(S210)において、制御部40は、第1追跡情報及び文書画像データをジョブログID(第2追跡情報)に関連づけて、ジョブログとしてメモリ204あるいはハードディスクドライブ等の記録装置24に記録する。
図12は、追跡情報検出部56の詳細を示す図である。
図12に示すように、追跡情報検出部56は、グレイスケール変換部560、2値化部562、ノイズ除去部564、第1コード復号部566及び第2コード復号部568を含む。追跡情報検出部56は、これらの構成要素により、画像に含まれる複数のパターンを検出し、当該検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する。
追跡情報検出部56において、グレイスケール変換部560は、スキャナ部14により読み取られた画像データ(例えば、RGBカラー)を受け付け、フルカラーからグレイスケールへの変換を行う。このようにして、グレイスケール変換部560は、読取画像を受け付ける受付手段を構成する。
2値化部562は、グレイスケール変換部560によりグレイスケールへの変換処理を施された多値の画像データに対して2値化処理を施し、2値の画像データを生成する。
ノイズ除去部564は、2値化部562により2値化された画像データに対してノイズ除去処理を施して、ノイズ除去がなされた画像データを第1コード復号部566及び第2コード復号部568に対して出力する。ノイズ除去部564は、例えば、画像データから潜像を削除する。
第1コード復号部566は、画像に含まれる2種類の斜線パターンに基づいて第1コードを検出し、当該第1コードを復号して第1追跡情報を復元する。
第2コード復号部568は、画像に含まれ、上下に隣接する2個のパターン組の距離に基づいて第2コードを検出し、当該第2コードを復元して第2追跡情報を復元する。
なお、第1コード復号部566及び第2コード復号部568については、以降、詳述する。
図13は、第1コード復号部566の詳細を示す図である。
図13に示すように、第1コード復号部566は、斜線パターン検出部570、バッファメモリ572、スキュー角検出部574、第1コード検出部576及び誤り訂正復号部578を含む。
第1コード復号部566において、斜線パターン検出部570は、受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する。より具体的には、斜線パターン検出部570は、ノイズが除去された画像データを受け付け、2種類の斜線パターンを検出し、その処理結果画像データをバッファメモリ572に格納する。処理結果画像データは、例えば1画素を2ビットで表す画像データであって、ビット0に対応する斜線パターンが検出された位置の画素値を0、ビット1に対応する斜線パターンが検出された位置の画素値を1、それ以外の位置の画素値を2としてなるものである。
バッファメモリ572は、斜線パターン検出部570により検出された結果画像データを記憶する。
スキュー角検出部574は、バッファメモリ572に記憶されている画像データを所定の契機で読み出して、入力画像データのスキュー角度を算出する。より具体的には、スキュー角検出部574は、画素値0及び1のみで表される画素のハフ変換を行い、その角度時軸上への投影分布のピークを求めることにより、スキュー角度を求める。スキュー角検出部574は、算出したスキュー角度を第1コード検出部576に対して出力する。なお、スキュー角検出部574によりなされるハフ変換については、後で詳述する。
第1コード検出部576は、斜線パターン検出部570により検出された複数のパターンの配列に基づいて第1の情報(第1コード)を検出する。より具体的には、第1コード検出部576は、バッファメモリ572に記憶されている画像データを所定の契機で読み出して、スキュー角検出部574により求められたスキュー角度に沿って画像をスキャンし、ビット0及びビット1のいずれかに対応している画素値を取り出す。
第1コード検出部576は、取り出されたビット列から同期コードを検出する。ここで、同期コードは、第1符号化部460により生成されたものであって、例えば、所定の縦横サイズの矩形領域の外周の各ビットが「1」からなるもの(図6(A))である。第1コード検出部576は、検出された同期コードに基づいて、同期コードに囲まれたビット配列である2次元コードを検出し、この2次元コードを1次元のビット列に並べ替えて、誤り訂正復号部578に対して出力する。
誤り訂正復号部578は、第1コード検出部576から入力されたビット列に対して所定の誤り訂正復号処理を行って第1追跡情報を復号する。誤り訂正復号部578は、復号された第1追跡情報を制御部40(図4)に対して出力する。
スキュー角検出部574によりなされるハフ変換の特性を説明する。
ハフ変換は、下式で表される変換である。
ρ=x・cosθ+y・sinθ ・・・(1)
ここで、θは角度、ρは距離を表す。
画像上の点(x,y)がハフ変換されると、変換後の空間(ハフ空間)上では1本のサイン波形となる。直線上に並んだ点列がハフ変換されると、ハフ空間上では、各点に対応する複数のサイン波が1点に集中し、その点の値が極大となる。格子上に並んだ点群がハフ変換されると、ハフ空間上では、1点に集中するサイン波群が複数平行に並ぶ。その際、全てのサイン波群は、同一の角度θで1点に集中する。この角度θは、画像上の格子の傾き角度に一致する。また、各サイン波群の1点に集中した点の間隔は、格子上の点群の格子間隔と一致する。よって、この1点に集中する角度θと集中点の間隔を求めれば、点群のスキュー角度と間隔(周期)が求まる。
図14は、スキュー角検出部574によりなされるハフ変換について説明する図であって、図14(A)は、バッファメモリ572に記憶されている画像データ(パターンデータ)を示し、図14(B)は、全てのパターンがハフ変換された後のハフ空間を示し、図14(C)は、角度θ軸上の投影分布を示し、図14(D)は、角度θskew上の距離ρ方向の波形を示す。
図14(A)に示すように、バッファメモリ572に記憶されている画像データには、複数のパターン画素(画素値が0及び1のいずれかである画素)が含まれる。スキュー角検出部574は、バッファメモリ572から画像データを読み取り、原点から順に操作してパターン画素を検出し、検出したパターン画素の全ての座標に基づいてハフ変換を行う。
図14(B)に示すように、全てのパターンに対するハフ変換を終えた後、スキュー角検出部574は、ハフ空間上の各要素の値の最大値を求める。スキュー角検出部574は、ハフ空間上の各要素について、θ軸上に投影分布を求める。スキュー角検出部574は、最大値の1/2を閾値とし閾値以下の要素をゼロにして投影する。すると、図14(C)に示すように、θ軸上の投影分布は、ある角度θで最大となるような分布となる。スキュー角検出部574は、この投影分布最大となる角度θを、スキュー角度θskewとする。スキュー角検出部574は、検出したスキュー角度を第1コード検出部576に対して出力する。
図14(D)に示すように、角度θskew上の距離ρ方向の波形は、ある周期を持つ波形となる。ここで、ピーク間隔の平均を求めて周期とすると、この周期は、画像上(実空間上)のパターン行の周期(即ち、間隔)となる。
図15は、第1コード復号部566による第1追跡情報復号処理(S30)を示すフローチャートである。
図15に示すように、ステップ300(S300)において、ノイズが除去された画像データが斜線パターン検出部570に入力され、2種類の斜線パターンが検出される。その処理結果画像データは、斜線パターン検出部570によりバッファメモリ572に格納される。
ステップ302(S302)において、バッファメモリ572に格納された画像データが、スキュー角検出部574に読み出され、画像データのスキュー角度が、スキュー角検出部574により算出される。具体的には、スキュー角検出部574は、画素値0及び1のいずれかの画素のハフ変換を行ってスキュー角度を算出する。
ステップ304(S304)において、バッファメモリ572に格納された画像データが、第1コード検出部576に読み出される。第1コード検出部576は、算出されたスキュー角度に沿って画像をスキャンしてビット0及びビット1のいずれかに対応している画素値を取り出し、取り出されたビット列から同期コードを検出する。
ステップ306(S306)において、2次元コードが、検出された同期コードに基づいて第1コード検出部576により検出され、1次元のビット列に並べ替えられて誤り訂正復号部578に対して出力される。
ステップ308(S308)において、誤り訂正復号部578では、第1コード検出部576から入力されたビット列に対して所定の誤り訂正復号処理が行われ、第1追跡情報が復号される。
図16は、第2コード復号部568の詳細を示す図である。
図16に示すように、第2コード復号部568は、孤立パターン検出部580、バッファメモリ572、スキュー角検出部574、第2コード検出部582及び誤り訂正復号部578を含む。なお、図16に示された各構成のうち、図13に示された構成と実質的に同一のものには同一の符号が付されている。
第2コード復号部568において、孤立パターン検出部580は、画像に含まれる複数のパターンを検出する。より具体的には、孤立パターン検出部580は、ノイズが除去された画像データを受け付け、所定面積以下の孤立パターンを検出し、当該孤立パターンの中心座標を含むパターン中心位置画像データを生成し、このパターン中心位置画像データをバッファメモリ572に格納する。ここで、パターン中心位置画像データは、例えば1画素を1ビットで表す画像データであって、孤立パターンの中心位置が検出された位置の画素値を1、それ以外の位置の画素値を0としてなるものである。なお、画像に含まれるパターンの形状は、孤立パターン検出部580により検出されない。
第2コード検出部582は、孤立パターン検出部580により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報(第2コード)を検出する。より具体的には、第2コード検出部582は、バッファメモリ572に記憶されているパターン中心位置画像データを所定の契機で読み出して、スキュー角検出部574により求められたスキュー角度に基づいて、隣接するパターン間の位置関係を算出し、算出された距離に基づいて、埋め込まれているビット値を検出する。
第2コード検出部582は、パターン中心位置画像データを読み出すと、当該データにおいて原点に最も近い画素であって画素値が1である画素(即ち、孤立パターンの中心)を探索し、当該画素を開始点とする。第2コード検出部582は、開始点から、スキュー角度とは直交方向の所定範囲に存在するパターン中心点を探索し、開始点と探索されたパターン中心点との距離を求める。第2コード検出部582は、当該距離が所定間隔(例えば、12画素)より小さい場合にはビット1を検出し、当該距離が所定間隔より大きい場合にはビット0を検出する。
第2コード検出部582は、スキュー角度方向に所定間隔で同様の検出処理を行うことにより、1行分の位置変調ビット列を検出する。第2コード検出部582は、1行分の位置変調ビット列の検出処理を終了すると、開始点に戻って、スキュー角度と直交方向に所定間隔の2倍の位置(例えば、24画素)で孤立パターン中心を探索する。第2コード検出部582は、当該探索された位置を新たな開始点として、同様にして第2番目の位置変調ビット列を求める。第2コード検出部582は、同様の処理を画像の下端まで繰り返すことにより、1画像分のビット配列を検出する。
第2コード検出部582は、検出されたビット列から同期コードを検出する。ここで、同期コードは、第2符号化部464により生成されたものであって、例えば、所定の縦横サイズの矩形領域の外周の各ビットが「1」からなるもの(図6(B))である。第2コード検出部582は、検出された同期コードに基づいて、同期コードに囲まれたビット配列である2次元コードを検出し、この2次元コードを1次元のビット列に並べ替えて、誤り訂正復号部578に対して出力する。
誤り訂正復号部578は、第2コード検出部582から入力されたビット列に対して所定の誤り訂正復号処理を行って第2追跡情報を復号する。誤り訂正復号部578は、復号された第2追跡情報を制御部40(図4)に対して出力する。
図17は、第2コード復号部568による第2追跡情報復号処理(S40)を示すフローチャートである。なお、図17に示された各処理のうち、図15に示された処理と実質的に同一のものには同一の符号が付されている。
図17に示すように、ステップ400(S400)において、ノイズが除去された画像データが孤立パターン検出部580に入力され、孤立パターンが検出され、パターン中心位置画像データが生成される。このパターン中心位置画像データは、孤立パターン検出部580によりバッファメモリ572に格納される。
ステップ402(S402)において、バッファメモリ572に格納されたパターン中心位置画像データが、スキュー角検出部574に読み出され、当該画像データのスキュー角度が、スキュー角検出部574により算出される。具体的には、スキュー角検出部574は、画素値0及び1のいずれかの画素のハフ変換を行ってスキュー角度を算出する。
ステップ404(S404)において、バッファメモリ572に格納されたパターン位置中心画像データが、第2コード検出部582に読み出される。第2コード検出部582は、前述した通り、開始点と探索されたパターン中心点との距離を求め、この距離が所定間隔より大きいか否かを判定する。第2コード検出部582は、距離が所定間隔より大きい場合にはS406の処理に進み、そうでない場合にはS408の処理に進む。
ステップ406(S406)において、第2コード検出部582は、当該位置関係に基づいてビット0を検出する。
ステップ408(S408)において、第2コード検出部582は、当該位置関係に基づいてビット1を検出する。
ステップ410(S410)において、第2コード検出部582は、1画像分のビット配列を検出したか否かを判定する。第2コード検出部582は、1画像分のビット配列を検出した場合にはS412の処理に進み、そうでない場合にはS404の処理に戻る。
ステップ412(S412)において、同期コードが、検出されたビット配列から検出される。その後、S306の処理で、2次元コードが、同期コードに基づいて第2のコード検出部582により検出され、1次元のビット列に並べ替えられて誤り訂正復号部578に対して出力される。さらに、S308の処理で、誤り訂正復号部578では、入力されたビット列に対して誤り訂正復号処理が行われ、第2追跡情報が復号される。
図18は、本発明の実施形態に係る画像処理装置2による追跡情報検出処理(S50)示すフローチャートである。
図18に示すように、ステップ500(S500)において、画像処理プログラム4(図4)の制御部40は、追跡情報を検出するための情報検出モードを設定する旨のユーザによる操作をUI装置26(図3)を介して受け付ける。なお、当該設定は、予めなされていてもよい。
ステップ502(S502)において、ユーザが、スキャナ部14のプラテンに原稿を載せてコピーボタンを押すと、原稿はスキャナ部14により読み取られる。読み取られた画像は、スキャナ部14により、画像処理プログラム4の追跡情報検出部56に対して出力される。
ステップ504(S504)において、読み取られた画像データは、追跡情報検出部56(図15)のグレイスケール変換部560により、グレイスケールへの変換処理を施される。
ステップ506(S506)において、当該グレイスケールへの変換処理を施された多値の画像データは、2値化部562により、2値化処理を施される。
ステップ508(S508)において、当該2値化処理を施された2値の画像データは、ノイズ除去部564により、ノイズ除去処理を施される。
ノイズ除去がなされた画像データは、第1コード復号部566に対して出力され、第1コード復号部566では、第1追跡情報復号処理(図15;S30)が行われて第1追跡情報が復号され、第1追跡情報が制御部40に対して出力される。
また、ノイズ除去がなされた画像データは、第2コード復号部568に対して出力され、第2コード復号部568では、第2追跡情報復号処理(図17;S40)が行われて第2追跡情報が復号され、第2追跡情報が制御部40に対して出力される。
なお、これらの追跡情報が画像から検出されない場合、その旨が制御部40に対して出力される。
ステップ510(S510)において、制御部40は、入力された情報検出結果をUI装置26に表示する。また、制御部40は、検出された追跡情報からジョブログIDを抽出する。当該抽出されたジョブログIDが、当該画像形成装置10内部のジョブログデータに存在する場合、制御部40は、当該データ及び当該ジョブログIDに対応づけられている文書画像データあるいはそのサムネイルをUI装置26に表示する。
以上説明したように、本発明の実施形態に係る画像処理装置2は、形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段とを有する。これにより、画像処理装置2によれば、コピーされた場合においても、埋め込まれた情報が効果的に検出されうる画像を生成することができる。
また、画像処理装置2は、形状の異なる複数のパターンを配列するパターン配列手段と、所定の情報に基づいて、前記パターン配列手段により配列された隣接するパターン間の位置関係を調節するパターン位置調節手段とを有する。これにより、画像処理装置2によれば、コピーされた場合においても情報が効果的に検出されるように、当該情報を画像に埋め込むことができる。
特に、画像処理装置2は、第1の情報に基づいてパターンを配列し、第2の情報に基づいて隣接するパターン間の位置関係を調節する。これにより、画像処理装置2によれば、パターンの形状及びパターン間の位置関係に基づいて情報を埋め込むので、埋め込まれる情報の容量を増加させることができる。画像処理装置2は、第2の情報に基づいて、上下方向に隣接するパターン間の距離を調節してもよいし、左右方向に隣接するパターン間の距離を調節してもよい。これにより、画像処理装置2によれば、パターンの形状及びパターン間の上下方向並びに左右方向の距離に基づいて情報を埋め込むので、埋め込まれる情報の容量をさらに増加させることができる。
また、画像処理装置2は、少なくとも第1追跡情報の一部を含む第2追跡情報に基づいて隣接するパターン間の位置関係を調節する。これにより、画像処理装置2によれば、第1追跡情報の少なくとも一部がパターン間の位置関係に基づいて検出されうるように、第1追跡情報と第2追跡情報を画像に埋め込むことができる。
また、画像処理装置2により埋め込まれる情報には、合成された画像を識別する識別情報が含まれる。これにより、画像処理装置2によれば、埋め込まれた情報が検出されると、画像が一意に識別されることができる。
画像処理装置2は、画像に含まれる複数のパターンを検出するパターン検出手段と、前記パターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出手段とを有する。これにより、画像処理装置2によれば、情報が埋め込まれた原稿がコピーされた場合においても、コピーされた原稿から、埋め込まれた情報を効果的に検出することができる。
また、画像処理装置2は、読取画像を受け付ける受付手段と、前記受付手段により受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出手段と、前記第1のパターン検出手段により検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出手段と、前記受付手段により受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出手段と、前記第2のパターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出手段とを有する。これにより、画像処理装置2によれば、情報が埋め込まれた原稿がコピーされた場合においても、少なくともパターンの位置関係に基づいて埋め込まれた情報を検出することができる。また、パターンの形状並びにパターン間の位置関係に基づいて埋め込まれた情報を検出することができる。
なお、上記実施例では、パターン組のうちの下のパターンのみの位置をずらす例について説明したが、上下両方のパターンの位置をずらすようにしても良い。例えば、ビット0を埋め込む場合には、上パターンを下に1画素、下パターンを上に1画素ずらし、ビット1の場合にはそれぞれ反対方向にずらすようにする。この場合、ビット0を埋め込む場合にはパターン間の距離が相対的に2画素分近くなり、ビット1を埋め込む場合にはこの距離が2画素分遠くなる。
また、上記実施例では、上下に隣接する2個のパターンを組にしたが、左右に隣接する2個のパターンを組にして、左右方向に位置をずらすようにしても良い。また、斜めに隣接する2個のパターンを組にして、斜め方向に位置をずらすようにしても良い。また、上下に隣接する2個のパターンを組にして情報を埋め込んだ後、左右に隣接する2個のパターンを組にして別の情報または同一の情報を埋め込むようにしても良い。
また、上記実施例では、パターンの位置をずらす方向によって2値(1ビット)の情報を埋め込むようにしているが、すらす量(パターン間の距離)によって多値の情報を埋め込むようにしてもよい。
また、上記実施例では、パターンの形状としては、回転方向に変化する2つの形状のパターンを用いたが、丸形と四角形といった2種類の形状のパターンを使うようにしても良い。
また、画像処理プログラム4は、画像形成装置10に含まれなくてもよく、例えばネットワークで接続された外部のサーバ上で動作してもよい。また、上記実施例では、プリント時に追跡情報を埋め込むか否かの指定(背景地紋画像合成モード)を予め管理者が設定しておく例について説明したが、端末装置5のユーザがプリント時に当該モードを指定し、プリントデータが端末装置5から画像形成装置10に対して送信される際に、当該モードが設定された旨のデータが画像形成装置10に対して送信されてもよい。この場合、背景地紋画像合成モードの指定や、必要な各種付加情報は、文書データ(PDL)のヘッダへ付加されてもよい。
次に、本発明の第2の実施形態に係る画像処理装置2を説明する。
本実施形態に係る画像処理装置2は、形状及び間隔の異なる複数のパターンを予め保持し、第1追跡情報及び第2追跡情報に基づいて当該パターンを選択してパターン画像を生成する点で、第1の実施形態に係る画像処理装置2とは異なる。また、画像処理装置2は、埋め込まれた情報を検出する際、第1コード検出時には第2コードを参照し、第2コード検出時には第1コードを参照することにより、これらのコードの検出精度を高める。
本実施形態に係る画像処理装置2は、画像処理プログラム4(図4)の地紋画像生成部46の替わりに地紋画像生成部66を有し、追跡情報検出部56の替わりに追跡情報検出部76を有する点で、第1の実施形態に係る画像処理装置2と異なる。
以下、地紋画像生成部66及び追跡情報検出部56について詳述する。
図19は、地紋画像生成部66の詳細を示す図である。
図19に示すように、地紋画像生成部66は、第1符号化部660、第2符号化部664、潜像生成部462、パターン画像生成部666、コードパターン記憶部668、潜像パターン合成部670及び潜像パターン記憶部672を含む。なお、図19に示された各構成のうち、図5に示された構成と実質的に同一のものには同一の符号が付されている。地紋画像生成部66は、これらの構成により、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像(背景地紋画像)を生成するコード画像生成手段を構成する。
第1符号化部660は、入力された第1追跡情報に対して誤り訂正符号化を行い、誤り訂正符号化後のビット列を2ビット単位のワードに分割し、ワードを2次元に並べて、所定サイズのワード配列(第1コード)を生成する。ここで、第1コードの外周のワードは、情報検出時の第1コードの切り出し位置を示す同期コードであり、例えば、全て「11」である。第1符号化部660は、この第1コードを縦横に繰り返し配置して、潜像生成部462により生成される潜像画像と同じサイズの第1ワード配列を生成する。第1符号化部660は、生成した第1ワード配列をパターン画像生成部666に対して出力する。
第2符号化部664は、第2符号化部464(図5)と同様にして第2コードを生成する。生成される第2コードは、第1コードでは1要素が2ビットのワードであるので、縦横ともに第1コードと同一のサイズである。第2符号化部664は、生成した第2コードを縦横に繰り返し配置して、潜像画像と同じサイズのビット配列(第2ビット配列)を生成する。このとき、第2符号化部664は、第2コードを、縦方向及び横方向の双方において位相を例えばコード半分だけずらして配置する。第2符号化部664は、生成した第2ビット配列をパターン画像生成部666に対して出力する。
なお、第1ワード配列及び第2ビット配列については、後で詳述する。
パターン画像生成部666は、潜像生成部462により生成された潜像画像、第1符号化部660により生成された第1ワード配列、第2符号化部664により生成された第2ビット配列、及びコードパターン記憶部668に記憶されている後述するコードパターンに基づいて、パターン画像を生成する。パターン画像生成部666は、生成したパターン画像を潜像パターン合成部670に対して出力する。なお、パターン画像生成処理については、後で詳述する。
潜像パターン合成部670は、パターン画像生成部666により生成されたパターン画像及び潜像生成部462により生成された潜像画像に基づいて、潜像パターン記憶部672に記憶されている潜像パターン(図7(C)の孤立ドットパターン)をパターン画像中に合成する。潜像パターン合成部670は、潜像画像の原点から1画素ずつ参照し、潜像画像の画素が黒画素である場合、パターン画像において当該画素に対応する位置の部分に潜像パターンを合成する。
ここで、潜像画像は50dpiであり、パターン画像は600dpiであり、潜像画像の1画素がパターン画像の12画素×12画素に対応しているので、潜像パターン合成部670は、パターン画像において当該画素に対応する位置の12画素×12画素の部分に潜像パターンを合成する。このように、潜像パターン合成部670が潜像パターンを合成することにより、背景地紋画像が生成される。潜像パターン合成部670は、生成した背景地紋画像を地紋画像バッファ48に格納する。
図20は、第1ワード配列及び第2ビット配列を説明する図であって、図20(A)は、第1符号化部660により生成される第1ワード配列を示し、図20(B)は、第2符号化部664により生成される第2ビット配列を示す。
図20(A)に示すように、第1ワード配列は、第1コード(ワード配列)が並べられてなる。図20(B)に示すように、第2ビット配列は、第2ビット配列に含まれる第2コードのコード境界(同期コード)が、第1ワード配列に含まれる第1コードのコード境界(同期コード)と重ならないように、位相をずらして生成されてなる。
図21は、コードパターン記憶部668に記憶され、パターン画像生成部666により参照されるパターンを示す図である。
図21に示すように、パターンは、形状の異なる2種類のサブパターン(例えば、12画素×12画素の右上がりの斜線パターンと右下がりの斜線パターン)を異なる位置関係で配置するものであり、例えば12画素×24画素である。パターンに含まれる2つのサブパターンの間隔は、大(例えば14画素)と小(例えば10画素)の2種類である。したがって、各パターンは、上サブパターン形状、下サブパターン形状、及びサブパターン間距離により、3ビットの情報を表現する。
パターン画像生成部666は、第1ワード配列のワード(2ビット)、第2ビット配列のビット(1ビット)の合計3ビットについて例えば左上から順に同一位置の値を参照し、当該3ビットの値と潜像画像の画素値とに基づいて、コードパターン記憶部668に記憶されているパターン(図21(A)〜(H))のいずれか1つを選択して、パターン画像を生成していく。例えば、パターン画像生成部666は、第1ワード配列の2ビットを下位ビットとし、第2コードのビットを最上位ビットとして組み合わせて3ビットの値を算出し、当該算出された値と潜像画像の画素値とに基づいてパターンを選択する。
ここで、潜像画像が白画素であり、3ビット組の値が0である場合、図21(A)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が1である場合、図21(B)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が2である場合、図21(C)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が3である場合、図21(D)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が4である場合、図21(E)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が5である場合 図21(F)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が6である場合、図21(G)に示されるパターンが選択される。
潜像画像が白画素であり、3ビット組の値が7である場合、図21(H)に示されるパターンが選択される。
図22は、本実施形態係る画像処理装置2上で動作する画像処理プログラム4による背景地紋画像生成処理(S60)を示すフローチャートである。なお、図22に示された各処理のうち、図10に示された処理と実質的に同一のものには同一の符号が付されている。
図22に示すように、S100の処理で、地紋画像生成部66が制御部40から付加情報(潜像情報、第1追跡情報、第2追跡情報)を入力すると、S102の処理で、地紋画像生成部66の潜像生成部462が潜像情報に基づいて潜像画像を生成する。
ステップ600(S600)において、第1符号化部660は、入力された第1追跡情報に基づいてワード配列(第1コード)を生成し、この第1コードを繰り返して配置して第1ワード配列を生成する。
ステップ602(S602)において、第2符号化部664は、入力された第2追跡情報に基づいて第2コードを生成し、この第2コードを繰り返して配置して第2ビット配列を生成する。このとき、第2符号化部664は、第2コードの位相を第1ワード配列の位相とずらして第2コードを配置する。
ステップ604(S604)において、パターン画像生成部666は、潜像生成部462により生成された潜像画像、第1符号化部660により生成された第1ワード配列、第2符号化部664により生成された第2ビット配列に基づいてコードパターン記憶部668に記憶されているコードパターンを選択して、パターン画像を生成する。
ステップ606(S606)において、潜像パターン合成部670は、潜像生成部462により生成された潜像画像において画素が黒画素である場合、パターン画像において当該黒画素に対応する位置に潜像パターンを合成する。このようにして、潜像パターン合成部670は背景地紋画像を生成して、地紋画像バッファ48に格納する。
図23は、追跡情報検出部76の詳細を示す図である。
図23に示すように、追跡情報検出部76は、グレイスケール変換部560、2値化部562、ノイズ除去部564、第1コード復号部766及び第2コード復号部768を含む。なお、図23に示された各構成のうち、図12に示された構成と実質的に同一のものには同一の符号が付されている。
追跡情報検出部76は、第1コード復号部766が復号失敗時に第2コード復号部768により出力される情報に基づいて同期コード検出処理及び復号処理を再度実行し、第2コード復号部768が復号失敗時に第1コード復号部766により出力される情報に基づいて同期コード検出処理及び復号処理を再度実行する点で、図12に示される追跡情報検出部56とは異なる。
追跡情報検出部76において、第1コード復号部766は、画像に含まれる2種類の斜線パターンに基づいて第1コードを検出し、当該第1コードを復号して第1追跡情報を復元する。さらに、第1コード復号部766は、検出した第1コードの位置情報を第2コード復号部768に対して出力する。また、第1コード復号部766は、第1追跡情報を適切に復号できなかった場合、第2コード復号部768から入力された第2コードの検出位置情報を参照し、再度コード検出処理を行う。第1コードと第2コードは、所定量だけ位相がずれて配置されているので、第1コード復号部766は、第2コードの検出位置情報及び所定量の位相のずれにさらに基づいて第1コードを検出する。
第2コード復号部768は、画像に含まれ、上下に隣接する2個のパターン組の距離に基づいて第2コードを検出し、当該第2コードを復元して第2追跡情報を復元する。さらに、第2コード復号部768は、検出した第2コードの位置情報を第1コード復号部766に対して出力する。また、第2コード復号部768は、第2追跡情報を適切に復号できなかった場合、第1コード復号部766から入力された第1コードの検出位置情報を参照し、第1コードの検出位置情報及び所定量の位相のずれにさらに基づいて再度第2コードの検出処理を行う。
図24は、第1コード復号部766による第1追跡情報復号処理(S70)を示すフローチャートである。なお、図24に示された各処理のうち、図15に示された処理と実質的に同一のものには同一の符号が付されている。
図24に示すように、ノイズが除去された画像データが入力されると、S30(図15)の処理で、2種類の斜線パターンが検出され、スキュー角が求められ、同期コード及び2次元コードが検出され、第1追跡情報が復号される。
ステップ700において、第1コード復号部766は、復号処理が失敗したか否かを判定する。第1コード復号部766は、復号処理が成功した場合には処理を終了し、復号処理が失敗した場合にはS702の処理に進む。
ステップ702において、第1コード復号部766は、第2コード復号部768から入力された第2コードの検出位置情報を参照して、再度コード検出処理を行って同期コードを検出する。
第1コード復号部766は、S306の処理で、同期コードに囲まれたビット配列を検出し、S308の処理で誤り訂正復号合処理を行って第1追跡情報を復号する。
図25は、第2コード復号部768による第2追跡情報復号処理(S80)を示すフローチャートである。なお、図25に示された各処理のうち、図17に示された処理と実質的に同一のものには同一の符号が付されている。
図25に示すように、ノイズが除去された画像データが入力されると、S40(図17)の処理で、第2追跡情報が復号される。
ステップ800において、第2コード復号部768は、復号処理が失敗したか否かを判定する。第2コード復号部768は、復号処理が成功した場合には処理を終了し、復号処理が失敗した場合にはS802の処理に進む。
ステップ802において、第2コード復号部768は、第1コード復号部766から入力された第1コードの検出位置情報を参照して、再度コード検出処理を行って同期コードを検出する。第2コード復号部768は、S306の処理で、同期コードに囲まれたビット配列を検出し、S308の処理で誤り訂正復号合処理を行って第2追跡情報を復号する。
以上説明したように、本実施形態に係る画像処理装置2は、形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成手段と、前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段とを有する。これにより、画像処理装置2は、コピーされた場合においても効果的に検出されうる情報を画像に柔軟に埋め込むことができる。
また、画像処理装置2は、第2コード復号部768により検出された第2の情報にさらに基づいて第1の情報を検出し、第1コード復号部766により検出された第1の情報にさらに基づいて第2の情報を検出する。これにより、画像処理装置2は、第1コード及び第2コードをより正確に検出することができる。
特に、背景地紋画像が合成される文書画像の内容によって、第1コードの同期コードの位置に文章文字列が重なってしまい、当該部分の第1コードの同期コードが検出されなかった場合においても、半コード分ずれた位置にある第2コードが検出されれば、第2コードの位置に基づいて第1コードの位置が求められるので、第1コードが検出されることができる。したがって、文書画像の内容によらず、画像処理装置2は、埋め込まれた追跡情報を確実に検出することができる。
本発明に係る画像処理装置による追跡情報の埋め込み方法を説明する図であって、図1(A)は、印刷されたオリジナル原稿を例示し、図1(B)は、このオリジナル原稿がコピーされたコピー画像を例示する。 画像形成装置10を含む画像形成システム1を示す。 本発明に係る画像処理方法が適応される画像処理装置2のハードウェア構成を、制御装置20を中心に示す図である。 制御装置20により実行され、本発明に係る画像処理方法を実現する画像処理プログラム4の機能構成を示す図である。 地紋画像生成部46の詳細を示す図である。 第1コード及び第2コードを例示する図であって、図6(A)は、第1符号化部460により生成される第1コードを例示し、図6(B)は、第2符号化部464により生成される第2コードを例示する。 パターン記憶部468に記憶され、パターン画像生成部466により参照されるパターンを示す図である。 パターン位置変調部470によるパターン位置の調整方法を説明する図であって、図8(A)は、隣接するパターンからなるパターン組を示し、図8(B)及び図8(C)は、パターン位置変調部470によりパターン間の距離が調節されたパターン組を示す。 画像処理装置2により生成された背景地紋画像が印刷された印刷物を説明する図であって、図9(A)は、背景地紋画像が印刷された印刷物を例示し、図9(B)は、この印刷物がコピーされたコピー原稿を例示し、図9(C)は、図(A)における領域Sを拡大した背景地紋画像を示す図である。 画像処理プログラム4による背景地紋画像生成処理(S10)を示すフローチャートである。 画像形成装置10による印刷処理(S20)を示すフローチャートである。 追跡情報検出部56の詳細を示す図である。 第1コード復号部566の詳細を示す図である。 スキュー角検出部574によりなされるハフ変換について説明する図であって、図14(A)は、バッファメモリ572に記憶されている画像データ(パターンデータ)を示し、図14(B)は、全てのパターンがハフ変換された後のハフ空間を示し、図14(C)は、角度θ軸上の投影分布を示し、図14(D)は、角度θskew上の距離ρ方向の波形を示す。 第1コード復号部566による第1追跡情報復号処理(S30)を示すフローチャートである。 第2コード復号部568の詳細を示す図である。 第2コード復号部568による第2追跡情報復号処理(S40)を示すフローチャートである。 画像処理装置2による追跡情報検出処理(S50)示すフローチャートである。 地紋画像生成部66の詳細を示す図である。 第1ワード配列及び第2ビット配列を説明する図であって、図20(A)は、第1符号化部660により生成される第1ワード配列を示し、図20(B)は、第2符号化部664により生成される第2ビット配列を示す。 コードパターン記憶部668に記憶され、パターン画像生成部666により参照されるパターンを示す図である。 第2の実施形態係る画像処理装置2上で動作する画像処理プログラム4による背景地紋画像生成処理(S60)を示すフローチャートである。 追跡情報検出部76の詳細を示す図である。 第1コード復号部766による第1追跡情報復号処理(S70)を示すフローチャートである。 第2コード復号部768による第2追跡情報復号処理(S80)を示すフローチャートである。
符号の説明
1 画像形成システム
2 画像処理装置
3 ネットワーク
4 画像処理プログラム
5 端末装置
10 画像形成装置
12 プリンタ部
14 スキャナ部
20 制御装置
22 通信装置
24 記録装置
26 UI装置
40 制御部
42 文書画像生成部
44 文書画像バッファ
46 地紋画像生成部
48 地紋画像バッファ
50 ページバッファ
52 スキャン画像処理部
54 画像合成部
56 追跡情報検出部
66 地紋画像生成部
76 追跡情報検出部
202 CPU
204 メモリ
460 第1符号化部
462 潜像生成部
464 第2符号化部
466 パターン画像生成部
468 パターン記憶部
470 パターン位置変調部
560 グレイスケール変換部
562 2値化部
564 ノイズ除去部
566 第1コード復号部
568 第2コード復号部
570 斜線パターン検出部
572 バッファメモリ
574 スキュー角検出部
576 第1コード検出部
578 誤り訂正復号部
580 孤立パターン検出部
582 第2コード検出部
660 第1符号化部
664 第2符号化部
666 パターン画像生成部
668 コードパターン記憶部
670 潜像パターン合成部
672 潜像パターン記憶部
766 第1コード復号部
768 第2コード復号部

Claims (27)

  1. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、
    前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と
    を有する画像処理装置。
  2. 前記コード画像生成手段は、
    形状の異なる複数のパターンを配列するパターン配列手段と、
    所定の情報に基づいて、前記パターン配列手段により配列された隣接するパターン間の位置関係を調節するパターン位置調節手段と
    を有する
    請求項1に記載の画像処理装置。
  3. 前記パターン配列手段は、第1の情報に基づいてパターンを配列し、
    前記パターン位置調節手段は、第2の情報に基づいて隣接するパターン間の位置関係を調節する
    請求項2に記載の画像処理装置。
  4. 前記パターン位置調節手段は、少なくとも第1の情報の一部を含む第2の情報に基づいて隣接するパターン間の位置関係を調節する
    請求項3に記載の画像処理装置。
  5. 前記パターン位置調節手段は、上下方向に隣接するパターン間の距離を調節する
    請求項2乃至4のいずれかに記載の画像処理装置。
  6. 前記パターン位置調節手段は、左右方向に隣接するパターン間の距離を調節する
    請求項2乃至5のいずれかに記載の画像処理装置。
  7. 前記情報には、前記画像合成手段により合成された画像を識別する識別情報が含まれる
    請求項1乃至6のいずれかに記載の画像処理装置。
  8. 形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成手段と、
    前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と
    を有する画像処理装置。
  9. 画像に含まれる複数のパターンを検出するパターン検出手段と、
    前記パターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出手段と
    を有する画像処理装置。
  10. 読取画像を受け付ける受付手段と、
    前記受付手段により受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出手段と、
    前記第1のパターン検出手段により検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出手段と、
    前記受付手段により受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出手段と、
    前記第2のパターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出手段と
    を有する画像処理装置。
  11. 前記第1の情報検出手段は、前記第2の情報検出手段により検出された第2の情報にさらに基づいて第1の情報を検出する
    請求項10に記載の画像処理装置。
  12. 前記第2の情報検出手段は、前記第1の情報検出手段により検出された第1の情報にさらに基づいて第2の情報を検出する
    請求項10又は11に記載の画像処理装置。
  13. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、
    前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と、
    前記画像合成手段により合成された合成画像を出力する出力手段と
    を有する画像形成装置。
  14. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成手段と、
    前記コード画像生成手段により生成されたコード画像と文書画像とを合成する画像合成手段と、
    前記画像合成手段により合成された合成画像を出力する出力手段と、
    前記出力手段により出力された画像を読み取る読取手段と、
    前記読取手段により読み取られた読取画像に含まれる複数のパターンを検出するパターン検出手段と、
    前記パターン検出手段により検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出手段と
    を有する画像形成装置。
  15. 第1の情報に基づいて、形状の異なる複数のパターンが配列されており、
    第2の情報に基づいて、前記配列された隣接するパターン間の位置関係が調節されている
    地紋画像。
  16. 地紋画像が印刷された印刷物であって、
    前記地紋画像には、形状の異なる複数のパターンが、第1の情報に基づいて配列されており、
    前記配列された隣接するパターン間の位置関係は、第2の情報に基づいて調節されている
    印刷物。
  17. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、
    前記生成されたコード画像と文書画像とを合成する
    画像処理方法。
  18. 形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成し、
    前記生成されたコード画像と文書画像とを合成する
    画像処理方法。
  19. 画像に含まれる複数のパターンを検出し、
    前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する
    画像処理方法。
  20. 読取画像を受け付け、
    前記受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出し、
    前記検出された複数のパターンの配列に基づいて第1の情報を検出し、
    前記受け付けられた読取画像に含まれる複数のパターンを検出し、
    前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する
    画像処理方法。
  21. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、
    前記生成されたコード画像と文書画像とを合成し、
    前記合成された合成画像を出力し、
    前記出力された画像を読み取り、
    前記読み取られた読取画像に含まれる複数のパターンを検出し、
    前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する
    画像処理方法。
  22. 形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成し、
    前記生成されたコード画像と文書画像とを合成し、
    前記合成された合成画像を出力する
    画像形成方法。
  23. コンピュータを含む画像処理装置において、
    形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、
    前記生成されたコード画像と文書画像とを合成する画像合成ステップと
    を前記画像処理装置のコンピュータに実行させるプログラム。
  24. コンピュータを含む画像処理装置において、
    形状の異なる複数のサブパターンが異なる位置関係で配置された複数のパターンの配列により所定の情報を表すコード画像を生成するコード画像生成ステップと、
    前記生成されたコード画像と文書画像とを合成する画像合成ステップと
    を前記画像処理装置のコンピュータに実行させるプログラム。
  25. コンピュータを含む画像処理装置において、
    読取画像を受け付ける受付ステップと、
    前記受け付けられた読取画像に含まれる形状の異なる複数のパターンを検出する第1のパターン検出ステップと、
    前記検出された複数のパターンの配列に基づいて第1の情報を検出する第1の情報検出ステップと、
    前記受け付けられた読取画像に含まれる複数のパターンを検出する第2のパターン検出ステップと、
    前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて第2の情報を検出する第2の情報検出ステップと
    を前記画像処理装置のコンピュータに実行させるプログラム。
  26. コンピュータを含む画像形成装置において、
    形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、
    前記生成されたコード画像と文書画像とを合成する画像合成ステップと、
    前記合成された合成画像を出力する出力ステップと
    を前記画像形成装置のコンピュータに実行させるプログラム。
  27. コンピュータを含む画像形成装置において、
    形状の異なる複数のパターンを含み、隣接するパターン間の位置関係により所定の情報を表すコード画像を生成するコード画像生成ステップと、
    前記生成されたコード画像と文書画像とを合成する画像合成ステップと、
    前記合成された合成画像を出力する出力ステップと、
    前記出力された画像を読み取る読取ステップと、
    前記読み取られた読取画像に含まれる複数のパターンを検出するパターン検出ステップと、
    前記検出された複数のパターンのうち、隣接するパターン間の位置関係に基づいて情報を検出する情報検出ステップと
    を前記画像形成装置のコンピュータに実行させるプログラム。
JP2006015843A 2006-01-25 2006-01-25 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム Expired - Fee Related JP4771283B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006015843A JP4771283B2 (ja) 2006-01-25 2006-01-25 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム
US11/491,154 US20070171480A1 (en) 2006-01-25 2006-07-24 Image processing device, image forming device, tint block image, printed material, image processing method, image forming method and program-recorded medium
CN2006101317620A CN101009754B (zh) 2006-01-25 2006-10-08 图像处理装置和方法、以及图像形成装置和方法
KR1020060106426A KR100842049B1 (ko) 2006-01-25 2006-10-31 화상 처리 장치, 화상 형성 장치, 화상 처리 방법, 화상 형성 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006015843A JP4771283B2 (ja) 2006-01-25 2006-01-25 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007201659A true JP2007201659A (ja) 2007-08-09
JP4771283B2 JP4771283B2 (ja) 2011-09-14

Family

ID=38285227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006015843A Expired - Fee Related JP4771283B2 (ja) 2006-01-25 2006-01-25 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム

Country Status (4)

Country Link
US (1) US20070171480A1 (ja)
JP (1) JP4771283B2 (ja)
KR (1) KR100842049B1 (ja)
CN (1) CN101009754B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007258983A (ja) * 2006-03-22 2007-10-04 Ricoh Co Ltd 情報埋込装置、情報埋込方法、情報埋込プログラム及び記録媒体
WO2009093429A1 (ja) * 2008-01-21 2009-07-30 Mitsubishi Electric Corporation 電子透かしの同期回復装置及び電子透かしの同期回復プログラム
JP2010063079A (ja) * 2008-08-04 2010-03-18 Canon Inc 読取り装置、情報処理方法、及びそのプログラム
JP2010154084A (ja) * 2008-12-24 2010-07-08 Fuji Xerox Co Ltd 画像処理装置、及びプログラム
JP2011501907A (ja) * 2007-10-05 2011-01-13 ディジマーク コーポレイション マスタコピーの透かし特性を変化させることを含めてコンテンツの特性を変化させることによるコンテンツのシリアル化

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157195A (ja) * 2004-11-26 2006-06-15 Ricoh Co Ltd 画像処理装置
JP4556705B2 (ja) * 2005-02-28 2010-10-06 富士ゼロックス株式会社 2次元座標同定装置、画像形成装置及び2次元座標同定方法
JP4870697B2 (ja) * 2008-02-22 2012-02-08 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
JP5531578B2 (ja) * 2009-11-25 2014-06-25 コニカミノルタ株式会社 プログラム、画像処理装置、画像処理方法及び画像処理システム
CN105335345B (zh) * 2014-07-03 2017-12-19 北大方正集团有限公司 彩色图像文件合成方法和装置
CN112130776A (zh) * 2019-06-25 2020-12-25 株式会社理光 图像处理装置、打印系统、记录媒介及潜像嵌入方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352444A (ja) * 2000-06-08 2001-12-21 Canon Inc 画像処理装置およびその方法
JP2004128845A (ja) * 2002-10-02 2004-04-22 Oki Electric Ind Co Ltd 透かし情報埋め込み方法,透かし情報検出方法,透かし情報埋め込み装置,及び,透かし情報検出装置
JP2007201660A (ja) * 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0670555T3 (da) * 1992-09-28 2000-09-18 Olympus Optical Co Registreringsmedium med prikkode og informationsregistreringssystem
US20020136429A1 (en) * 1994-03-17 2002-09-26 John Stach Data hiding through arrangement of objects
JP3761106B2 (ja) * 1996-03-04 2006-03-29 シャープ株式会社 倍率設定装置を備えた画像形成装置
US20020159614A1 (en) * 2000-12-18 2002-10-31 Bradley Brett Alan Message coding for digital watermark applications
JP3102417B2 (ja) * 1998-10-30 2000-10-23 富士ゼロックス株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352444A (ja) * 2000-06-08 2001-12-21 Canon Inc 画像処理装置およびその方法
JP2004128845A (ja) * 2002-10-02 2004-04-22 Oki Electric Ind Co Ltd 透かし情報埋め込み方法,透かし情報検出方法,透かし情報埋め込み装置,及び,透かし情報検出装置
JP2007201660A (ja) * 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007258983A (ja) * 2006-03-22 2007-10-04 Ricoh Co Ltd 情報埋込装置、情報埋込方法、情報埋込プログラム及び記録媒体
JP2011501907A (ja) * 2007-10-05 2011-01-13 ディジマーク コーポレイション マスタコピーの透かし特性を変化させることを含めてコンテンツの特性を変化させることによるコンテンツのシリアル化
US10129429B2 (en) 2007-10-05 2018-11-13 Digimarc Corporation Content serialization by varying content properties, including varying master copy watermark properties
WO2009093429A1 (ja) * 2008-01-21 2009-07-30 Mitsubishi Electric Corporation 電子透かしの同期回復装置及び電子透かしの同期回復プログラム
JP4772151B2 (ja) * 2008-01-21 2011-09-14 三菱電機株式会社 電子透かしの同期回復装置及び電子透かしの同期回復プログラム
JP2010063079A (ja) * 2008-08-04 2010-03-18 Canon Inc 読取り装置、情報処理方法、及びそのプログラム
US8467078B2 (en) 2008-08-04 2013-06-18 Canon Kabushiki Kaisha Image forming apparatus, image processing method, and computer-readable storage medium
JP2010154084A (ja) * 2008-12-24 2010-07-08 Fuji Xerox Co Ltd 画像処理装置、及びプログラム

Also Published As

Publication number Publication date
CN101009754A (zh) 2007-08-01
JP4771283B2 (ja) 2011-09-14
CN101009754B (zh) 2010-09-08
KR20070078044A (ko) 2007-07-30
US20070171480A1 (en) 2007-07-26
KR100842049B1 (ko) 2008-06-30

Similar Documents

Publication Publication Date Title
JP4771283B2 (ja) 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム
KR100817773B1 (ko) 화상 처리 장치, 화상 형성 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4218920B2 (ja) 画像処理装置及び画像処理方法並びに記憶媒体
US7440583B2 (en) Watermark information detection method
US8280100B2 (en) Image processing apparatus, image processing method, and computer program product
US8335014B2 (en) Image forming apparatus, control method, and program for copy-forgery-inhibited dot pattern calibration
JP2007323632A (ja) 2次元カラーバーコード、2次元カラーバーコードの生成方法及びデコード方法並びにコンピュータプログラム製品
JP2000299778A (ja) ウォーターマークの付加方法及び装置、読取方法及び装置、記録媒体
JP4552754B2 (ja) 情報埋込装置、方法、プログラムおよび記録媒体、ならびに情報検出装置、方法、プログラムおよびコンピュータ読取可能な記録媒体
US20070133036A1 (en) Image-processing apparatus, image-processing method, and program product for image processing
US20070133035A1 (en) Image-forming apparatus, image-processing apparatus, confidential document reading method, image-processing method, and image-forming method
JP4893643B2 (ja) 検出方法および検出装置
JP4844351B2 (ja) 画像生成装置および記録媒体
JP4587123B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4872924B2 (ja) 画像データ形成方法および画像データ形成装置
JP4096803B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2006303807A (ja) 電子透かし埋め込み装置、電子透かし埋め込み方法、その方法をコンピュータに実現するプログラム、そのプログラムを記録した機械読取可能な記録媒体および印刷物
JP2007166333A (ja) 画像処理装置及び画像処理方法
JP4124016B2 (ja) 画像処理システム
JP2006166201A (ja) 画像形成装置
JP4752742B2 (ja) 画像処理装置、証明書発行システム及びプログラム
JP2009194538A (ja) 二次元コードを処理する装置、方法、プログラム、記憶媒体
JP2008301115A (ja) 画像処理装置、識別方法およびプログラム
JP2007208945A (ja) 画像処理装置及び画像処理方法
JP2006253918A (ja) 透かし情報検出装置及び透かし情報検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110530

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4771283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110612

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

LAPS Cancellation because of no payment of annual fees
R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350