JP2009171314A - 画像処理装置、画像処理システムおよび画像処理プログラム - Google Patents

画像処理装置、画像処理システムおよび画像処理プログラム Download PDF

Info

Publication number
JP2009171314A
JP2009171314A JP2008008155A JP2008008155A JP2009171314A JP 2009171314 A JP2009171314 A JP 2009171314A JP 2008008155 A JP2008008155 A JP 2008008155A JP 2008008155 A JP2008008155 A JP 2008008155A JP 2009171314 A JP2009171314 A JP 2009171314A
Authority
JP
Japan
Prior art keywords
image
paper document
document
discrimination
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008008155A
Other languages
English (en)
Other versions
JP4609495B2 (ja
Inventor
Kenji Ebiya
賢治 蛯谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2008008155A priority Critical patent/JP4609495B2/ja
Priority to US12/234,120 priority patent/US8218178B2/en
Publication of JP2009171314A publication Critical patent/JP2009171314A/ja
Application granted granted Critical
Publication of JP4609495B2 publication Critical patent/JP4609495B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • G03G21/04Preventing copies being made of an original
    • G03G21/046Preventing copies being made of an original by discriminating a special original, e.g. a bank note
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • G06F21/608Secure printing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00875Inhibiting reproduction, e.g. by disabling reading or reproduction apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/4426Restricting access, e.g. according to user identity involving separate means, e.g. a server, a magnetic card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/444Restricting access, e.g. according to user identity to a particular document or image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Storage Device Security (AREA)
  • Cleaning In Electrography (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】
本発明は、紙文書の操作の可否の判定と、該紙文書のなりすまし有無の判定およびそれらの判定結果に基づく該操作の実施可否の判断を行うことにより、該紙文書のセキュリティを確保する画像処理装置、画像処理システムおよび画像処理プログラムを提供する。
【解決手段】
紙文書の識別情報と保護情報と判別画像とを対応付けて管理する判別画像管理手段、紙文書の画像を読取る読取手段、読取った読取画像から識別情報を抽出する抽出手段、抽出した識別情報に対応する保護情報と判別画像を判別画像管理手段から取得する取得手段、取得した保護情報から紙文書の操作可否を判定する第1の判定手段、取得した判別画像と読取画像との差分情報から紙文書のなりすまし有無を判定する第2の判定手段、第1と第2の判定手段の判定結果から読取画像の処理の実施可否を判定する第3の判定手段の判定結果に基づき読取画像の画像処理を行う画像処理手段を具備する。
【選択図】 図1

Description

本発明は、画像処理装置、画像処理システムおよび画像処理プログラムに関する。
近年、情報機器の普及とネットワーク化の進展に伴い、ファクシミリ、プリンタ、コピー機などの画像処理装置を組み込んだネットワークシステムがオフィスに導入されている。
業務上必要な文書は、ファクシミリ、プリンタ、コピー機などを用いて、多様な形態で出力されており、また、それに伴い、不正コピーや機密情報の漏洩に対する施策が様々提案されている。
その1つとしては、特許文献1に示すような、セキュリティ管理下にある文書に含まれる画像情報を、オリジナル文書のセキュリティレベルを維持したまま再生または送信できるようにした画像形成装置が提案されており、また、特許文献2に示されるような、文書の機密性を保持し、文書複製の追跡を助力できる画像形成装置、画像形成方法および同方法のプログラムが提案されている。
上記特許文献1には、読み取られた原稿のセキュリティ属性を含むドキュメント情報に基づき、所定のルールに従って読み取られた原稿の画像データの出力の可否を判断して処理するとともに、読み取られた原稿からドキュメント情報が取得されない場合にも、文書管理のセキュリティを維持する技術が開示されている。
また、特許文献2には、作成した原稿のハードコピーを出力する際に、画像形成装置の情報又は文書の付属情報をハードコピー内に埋め込み、該ハードコピーを光学的読み取り方法を具備した画像形成装置により複写する際に、前記埋め込まれた情報を抽出・解析し、ネットワークを介した生体認証を行うことによって、文書の機密性を保持し、文書複製の追跡が助力できるようにした技術が開示されている。
また、他の提案としては、機密情報を用紙へ出力する際に、シンボルやコード情報(部分、全面)を機密情報または用紙に付与して出力し、出力された印刷物が画像処理装置で処理されようとした場合に、その印刷物に付与されている上記シンボルやコード情報を読み取り、読み取ったシンボルやコード情報が示す情報に応じてその印刷物の処理を制御する方法が提案されている。
具体的には、印刷物に付与されているシンボルやコード情報が複製禁止を表し、その印刷物のコピー操作が指示された場合には、その印刷物のコピー動作を中止させる等、操作が指示された印刷物に対してその印刷物に付与されたシンボルやコード情報が示す情報に応じた処理を実施するように制御するなどの一例が挙げられる。
更に、近年では、シンボルやコード情報(部分、全面)を付与して印刷した印刷物がきちんと廃棄されたかを確認できる方法なども提案されている。
特開2005−166023号公報 特開2004−072343号公報
ところで、上記提案の方法では、保護したい情報に上記シンボルやコード情報を付与して出力することで、出力された印刷物を保護することは可能であるが、保護された印刷物のなりすまし(上記シンボルやコード情報が付与されて保護された本来の印刷物とは異なる印刷物に上記シンボルやコード情報を貼り付ける等の不正により生成された印刷物)に対する施策については提案されていない。
本発明は、紙文書に対する操作に対応して当該紙文書の操作の可否の判定と、その紙文書がなりすましか否かの判定およびそれらの判定結果に基づき当該操作の実施判断を行うことにより、当該紙文書のセキュリティを確保する画像処理装置、画像処理システムおよび画像処理プログラムを提供することを目的とする。
上記目的を達成するため、請求項1の画像処理装置の発明は、紙文書に付与された識別情報と、前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像とを対応付けて管理する判別画像管理手段と、前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段と、前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段と、前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記判別画像管理手段から取得する取得手段と、前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段と、前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段と、前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段と、前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段とを具備することを特徴とする。
また、請求項2の発明は、請求項1の発明において、前記判別画像管理手段は、前記識別情報により識別される判別画像のエッジ成分から成るエッジ画像を管理し、前記第2の判定手段は、前記読取手段により読み取った前記紙文書の画像のエッジ成分から成るエッジ画像を生成し、該生成したエッジ画像と前記取得手段で取得した判別画像のエッジ画像との差分を算出することを特徴とする。
また、請求項3の発明は、請求項2の発明において、前記第2の判定手段は、前記紙文書から読み取った画像のエッジ画像から前記判別画像のエッジ画像を差し引いた差分情報の負となる成分の量、分布、比率のいずれかに基づき前記紙文書がなりすましか否かを判定することを特徴とする。
また、請求項4の発明は、請求項1乃至3のいずれかの発明において、紙文書を廃棄する廃棄手段と、紙文書を保管する保管手段と、前記紙文書を廃棄させずに前記保管手段に保管する制御を行なう保管制御手段とを具備し、前記読取手段は、前記紙文書の破棄の操作に対応して前記紙文書から画像情報を読取り、前記第1または第2または第3の判定手段は、前記読取手段で読み取った画像に対する前記破棄の操作に対応する処理の可否を判定し、前記保管制御手段は、前記第1または第2または第3の判定手段により前記廃棄の操作が否と判定された場合、前記紙文書を前記保管手段に保管する制御を行うことを特徴とする。
また、請求項5の画像処理システムの発明は、紙文書に付与する識別情報に対応して前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像を管理する管理装置と、前記紙文書から読み取った画像を画像処理する画像処理装置とを有し、前記画像処理装置は、前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段と、前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段と、前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記管理装置から取得する取得手段と、前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段と、前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段と、前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段と、前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段を具備することを特徴とする。
また、請求項6の画像処理プログラムの発明は、コンピュータを、紙文書に付与された識別情報と、前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像とを対応付けて管理する判別画像管理手段、前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段、前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段、前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記判別画像管理手段から取得する取得手段、前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段、前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段、前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段、前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段として機能させることを特徴とする。
請求項1、5または6記載の発明によれば、紙文書に対する操作に対応して当該紙文書の操作の可否の判定と、その紙文書がなりすましか否かの判定およびそれらの判定結果に基づき当該操作の実施判断を行うことにより、当該紙文書のセキュリティーを確保することができる。
また、請求項2記載の発明によれば、紙文書に対する操作に対応して当該紙文書がなりすましか否かを判定する際に参照する判別画像を管理するための記憶容量を抑えることができる。
また、請求項3記載の発明によれば、ユーザにより手書きの文字等が正規の紙文書に追記された場合であっても、その追記された文字等によりその正規の紙文書がなりすましか否かの判定に影響を与えることを防止することができる。
また、請求項4記載の発明によれば、紙文書に対する破棄の操作に対応して当該操作の可否の判定と、その紙文書がなりすましか否かの判定およびそれらの判定結果に基づき当該文書の破棄処理または保管処理を実施して、当該紙文書に対する破棄操作におけるセキュリティーを確保することができる。
以下、本発明に係わる画像処理システム、画像処理装置および画像処理プログラムの一実施例について、添付図面を参照して詳細に説明する。
図1は、本発明に係わる画像処理システム100の主な構成を示す構成図である。
図1に示すように、画像処理システム100は、本発明に係わる画像処理装置である複合機1と、ポリシーサーバ3と、クライアントPC4とがLAN(=Local Area Network)等のネットワーク2で接続されており、ポリシーサーバ3及びクライアントPC4は、入力装置(例えばキーボードやマウス等)、出力装置(例えばディスプレイ等)、中央処理装置(例えばCPU)、記憶装置(ROM、RAM、ハードディスク、外部記憶装置等)等で構成された一般的なコンピュータである。
尚、CPUは、Central Processing Unit、ROMは、Read Only Memory、RAMは、Random Access Memoryの略である。
また、画像処理システム100には、前述した各装置の他に、ネットワーク2に接続される各種装置を管理するサーバ等の各種装置が接続されており、ネットワーク2にはクライアントPC4や複合機1等の各装置が複数接続されていてもよい。
複合機1は、紙文書(用紙に印刷された文書)を光学的に走査して紙文書の画像データを読み取り、読み取った画像データを指定先へ送信するスキャン処理機能の他に、印刷指示された印刷データを印刷する印刷処理機能、紙文書を複製する複製処理機能、紙文書または電子文書のファクシミリ通信を行うファクシミリ通信機能等の各種機能を備えている。
また、複合機1は、紙文書を破棄(シュレッド)する図示せぬ破棄装置(シュレッダー等)を備えており、破棄装置での破棄操作に対応して破棄装置に具備された画像取得部で紙文書から読み取られる画像データに基づき破棄装置による本操作の可否および当該紙文書のなりすましの有無の判別結果に基づき破棄装置による本操作の実施可否の制御を行う機能を有している。
尚、本実施例では、紙文書を画像や印刷データが用紙上に形成された文書として説明しているが、紙文書は、用紙に限定されるものではなく、プラスチックシートやビニールシート等の種々の媒体上に画像や印刷データが形成された文書であってもよい。
クライアントPC4は、文書の表示、編集、印刷等の各種文書処理を行う機能を有しており、また、文書の印刷においては、印刷する文書データに加えて、文書データが印刷された紙文書が識別できるように、紙文書固有の識別情報(以下、「文書ID」という。)および各頁の識別情報(以下、「頁ID」という。)を所定のドットパターン(以下、「コード画像」という。)の配置にて付加した文書を印刷指示する機能を有する。
ポリシーサーバ3は、文書が不正に操作されることを防止して文書を保護するための情報(以下、「保護情報」という。)と、保護する対象文書等の各種情報を管理するサーバである。
具体的には、保護する文書が当該文書の操作を許された者以外の操作者によって操作(閲覧、複製、印刷、スキャン等の各種操作)されることを防止する若しくは保護する文書が偽造されてなりすまされることを防止するように、保護する文書(以下、「保護文書」という。)に付与する文書IDおよび頁IDと、保護文書のなりすましの有無を判別する判別画像の情報と、保護文書を保護する保護情報(例えば当該文書の操作可否や操作を許可する操作者の属性情報等)の各種情報とを対応付けた管理情報を管理し、各種装置(複合機1、クライアントPC4および破棄装置等)による操作に際して、操作対象の文書の管理情報等の問い合わせに対して回答する。
保護文書の管理情報は、ポリシーサーバ3に構築されたデータベース30の後述する保護文書管理表31(図2参照)に記録され管理されている。
尚、本実施例では、保護文書の管理情報をポリシーサーバ3で管理する一例を示したが、ポリシーサーバ3に限定されるものではなく、複合機1やクライアントPC4およびネットワーク2に接続された他の装置で管理するようにしても良い。
複合機1は、制御部10、画像読取部11、識別情報検知部12、識別情報生成部13、保護情報取得部14、判別画像生成部15、判別画像取得部16、なりすまし判別部17、管理情報生成部18、文書処理部19、ネットワークインタフェース部(以下、「ネットワークI/F部」という。)20、ユーザインタフェース部(以下、「ユーザI/F部」という)21、記憶部22、画像処理部23、画像形成部24の各機能的なブロックで構成されている。
制御部10は、複合機1のCPUであり、複合機1を構成する各部および破棄装置を制御し、複合機1全体を統括制御する。
画像読取部11は、紙文書を光学的に走査して、当該紙文書に形成された画像を読み取る。
具体的には、スキャナー装置を備え、複合機1が具備するADF(=自動原稿送り装置)あるいはプラテンガラス上にセットされた紙文書を光学的に走査(スキャン)し、当該紙文書の画像を読み取り、読み取った画像を記憶部22の所定の記憶領域に記憶させる。
尚、以下、説明の便宜上、画像読取部11で紙文書から読み取った画像を読取画像という。
識別情報検知部12は、保護文書(電子文書および紙文書)から当該保護文書に付与されている文書ID及び頁ID等の情報を検知する。
具体的には、各種操作指示された保護文書(紙文書)から読み取った読取画像を解析して当該読取画像に含まれる前述のコード画像を抽出し、そのコード画像が示す文書ID及び頁ID等の情報を検知する。
また、各種操作指示された保護文書(電子文書)を解析して当該電子文書の文書ID及び頁ID等の情報を検知する。
識別情報生成部13は、複合機1の処理により新たに生成される判別画像や保護文書の文書IDおよび頁IDを生成する。
保護情報取得部14は、保護文書(電子文書および紙文書)の管理情報の保護情報を含む各種情報を取得する。
具体的には、保護文書(電子文書および紙文書)の文書ID及び頁IDと対応付けされた管理情報に記録された保護情報を含む各種情報をポリシーサーバ3に問合せて取得する。
判別画像生成部15は、保護されてない文書を保護文書として出力する際に、当該文書の画像からエッジ画像を抽出して2値(白、黒)化した画像である判別画像を生成して記憶部22の所定の記憶領域に記憶させる。
具体的には、操作指示された保護文書(紙文書)のなりすましの有無を判別するための画像(判別画像)を保護文書として出力する文書の画像から生成する。
なお、なりすましの有無を判別するための画像としてエッジ画像を用いるのは、文書の画像が多値画像であった場合に、電子的に生成された文書の多値画像と、該文書の画像が印刷された後に該印刷された画像をスキャン等で読み取って得られた文書の多値画像を比較すると、なりすましがなくても、文書間での差分がエッジ画像に比して大きくなり、判断が困難となるためである。
本実施例における保護文書のなりすましとは、保護文書が紙文書の場合、文書ID及び頁IDと対応付けされた管理情報で管理され、保護されている正規の保護文書に対して当該文書ID及び頁IDに対応するコード画像を他の紙文書に貼り付けて偽造する等、正規の保護文書から偽造された不正の文書のことである。
判別画像取得部16は、操作指示された保護文書(紙文書)の処理に際して、当該保護文書のなりすましの有無を判別するために参照される当該保護文書の判別画像を所定の格納場所から取得する。
具体的には、操作指示された保護文書(紙文書)の管理情報の「判別画像格納場所」(図2参照)に記録された情報から当該保護文書の判別画像が格納された場所(格納場所)を特定して取得する。
なりすまし判別部17は、操作指示された保護文書(紙文書)のなりすましの有無を判別するための画像(判別画像)と、当該保護文書から抽出される2値化されたエッジ画像である判別対象画像との差分画像から当該保護文書(紙文書)のなりすましの有無を判別する。
具体的には、操作指示された保護文書(紙文書)から抽出される判別対象画像と当該保護文書(紙文書)の判別画像から差分画像を生成し、生成した差分画像の欠損部分の特徴を用いた方法で当該保護文書(紙文書)のなりすましの有無を判別する。
尚、保護文書(紙文書)のなりすましの有無の判別方法は、本発明の要部であるので、その詳細説明は、後述する。
管理情報生成部18は、複合機1の処理により新たに生成される判別画像や保護文書(紙文書および電子文書)を管理するための当該文書の文書IDおよび頁ID、当該文書の判別画像の格納場所、当該文書の保護情報等の各種情報を対応付けた管理情報を生成し、所定の記憶場所に記憶して管理する。
文書処理部19は、複製、印刷、スキャン等の各種操作が指示された保護文書(紙文書および電子文書)に対して当該保護文書の保護情報およびなりすましの有無の判別結果に基づく各種処理を実施する。
ネットワークI/F部20は、ネットワーク2または複合機1とは他の装置(以下、「外部装置」という。)と接続し、ネットワーク2を介して接続された外部装置または直接接続された外部装置とデータ信号や制御信号の授受の制御を行う。
また、制御部10の指令に基づき指定された宛先に文書データや読取画像を送信する。
ユーザI/F部21は、LCD(=Liquid Crystal Display)等の表示装置や操作ボタンを備え、ユーザの操作による複合機1への指示情報の入力及び複合機1からユーザへの複合機1のステータス情報や各種情報の表示等、ユーザと複合機1とのインタフェース処理を行う。
記憶部22は、ROM(=Read Only Memory)、RAM(=Random Access Memory)、ハードディスク等の記憶装置で構成され、これらの各記憶装置へのデータの書き込みや各記憶装置からのデータの読み込み等の制御を行う。
画像処理部23は、読取画像または印刷指示された印刷データに対してユーザにより設定された、例えば解像度、色数、色合い等のスキャン条件や割り付け印刷(N−up)、印刷面指定(両面/裏面)、用紙サイズ、紙種、出力部数等の印刷条件に応じた画像処理を施し、所定の画像フォーマット形式に変換する。
また、生成する保護文書の文書ID及び頁ID等を含む情報を予め設定された変換方法に基づき所定のドットパターンで配置されるパターン画像に変換して生成し、生成したパターン画像を処理する電子画像に付加した画像を生成する。
画像形成部24は、複合機1で印刷、複製、スキャン等の各処理を実施する際に、画像処理された画像データ(読取画像を含む)を複合機1が備える図示せぬ用紙上に形成して出力するための制御を行う。
このように構成された画像処理システム100において、複合機1は、新たに保護文書を生成する際には、生成された保護文書のなりすましの有無の判別ができるように、当該保護文書の判別画像を当該保護文書の生成元の文書(以下、「原文書」という。)から取得して当該保護文書の管理情報で管理し、当該保護文書の各種文書処理を行う際には、当該保護文書の判別対象画像と判別画像との差分画像の欠損部分の特徴的な情報に基づく当該保護文書のなりすましの有無の確認後、正規の保護文書のみを当該保護文書の保護情報に基づき文書処理するように構成されている。
複合機1による本発明に係わる画像処理および操作に対応した処理の動作について図2乃至図7を参照して説明する。
図2および図3は、保護されていない文書から新たに保護文書(紙文書)を生成する場合の一例を示す説明図である。
図2(a)および図3(a)は、保護されていない文書(電子文書)の一例を示す図、図2(b)および図3(b)は、保護されていない文書(電子文書)から抽出された判別画像の一例を示す図、図2(c)は、生成される保護文書の管理情報および管理情報を蓄積管理する保護文書管理表の一例を示す図、図2(d)および図3(c)は、保護されていない文書(電子文書)から生成された保護文書の一例を示す図である。
図2(a)および図3(a)に示すように、クライアントPC4等から保護文書出力が指定されて印刷指示された電子文書A(2頁で構成されている)40の印刷ジョブが複合機1に入力されると、複合機1は、電子文書A40の1頁目(以下、「電子文書A(1頁目)」という。)41の画像410からエッジ部を抽出して2値(白、黒)化後、図2(b)および図3(b)に示すようなエッジ画像(判別画像)43を生成し、電子文書Aの2頁目(以下、「電子文書A(2頁目)」という。)42についても電子文書A(1頁目)41の場合と同様に、電子文書A(2頁目)42の画像からエッジ画像(判別画像)を生成後、生成した各頁のエッジ画像を所定の保存場所に保存する。
尚、本実施例では、図3(a)に示すように、電子文書A(1頁目)41の画像410が文字部411と絵柄部412で構成された一例を示したが、この構成に特に限定されるものではない。
電子文書A40の各頁の判別画像(エッジ画像)が保存されると、印刷ジョブに含まれる属性情報を解析して電子文書A40から保護文書として出力される紙文書Aの保護情報を取得し、紙文書Aの各頁の文書IDおよび頁IDを生成する。
紙文書Aの保護情報の取得は、クライアントPC4等から保護文書出力が指定されて印刷指示された電子文書A40の印刷ジョブには、電子文書A40の各頁の画像データ(データ部)に加えて、保護文書出力の指定の際に、電子文書A40から保護文書として出力される紙文書Aを保護するための情報(保護情報)、例えば紙文書Aに対する複製、印刷、スキャン、ファックス送信等の操作の可または不可、その操作対象者の属性情報、操作回数限定等の各種情報、データ長、印刷条件、印刷指示日等の属性情報が付加されて含まれているので、この属性情報に記録された保護情報を紙文書Aの保護情報として取得する。
紙文書Aの各頁の文書IDおよび頁IDを生成後、生成した文書IDおよび頁IDと、紙文書Aの各頁に対応する判別画像の格納場所の情報(以下、単に「格納場所」という。)と、紙文書Aの各頁に対応する保護情報等の各種情報を関連付けた紙文書Aの各頁の管理情報を生成し、生成した各管理情報をポリシーサーバ3に送信して、その登録を要求し、ポリシーサーバ3に構築されたデータベース30の図2(c)に示すような保護文書管理表31に登録する。
図2(c)に示すように、保護文書管理表31は、各紙文書A(保護文書)の文書IDおよび頁ID、判別画像の格納場所、保護情報等の各種情報が関連付けされて生成される管理情報が蓄積保存できるように、保護文書の文書IDおよび頁IDの情報を記録する「文書ID」および「頁ID」、当該保護文書の判別画像の格納場所を記録する「判別画像格納場所」、当該保護文書の保護情報を記録する「保護情報」等の各項目で構成されており、紙文書A(1頁目)45の管理情報が管理情報310、紙文書A(2頁目)46の管理情報が管理情報311でそれぞれ生成され、保護文書管理表31に登録される。
保護文書管理表31に登録された管理情報310から紙文書A(1頁目)45は、文書IDおよび頁IDが「001」および「01」で、紙文書A(1頁目)45の判別画像43が「C:¥ABC¥G00101」の格納場所に格納され、紙文書A(1頁目)45が「操作権限者」、「課長以上」および「開発部」で示される保護情報で保護される保護文書であることを示している。
また、管理情報311から紙文書A(2頁目)46は、文書IDおよび頁IDが「001」および「02」、紙文書A(2頁目)46の判別画像44が「C:¥ABC¥G00102」の格納場所に格納され、紙文書A(2頁目)46が「操作権限者」、「課長以上」および「開発部」で示される保護情報で保護される保護文書であることを示している。
尚、各管理情報の「保護情報」に記録された「操作権限者」、「課長以上」および「開発部」は、当該管理情報に記録された文書IDと頁IDとに対応する保護文書の操作権限を有する対象者が課長以上または開発部等の者であること、即ち当該保護文書は、課長以上または開発部の者であれば操作を許可する旨を示している。
電子文書A40から保護文書として出力される紙文書Aの各頁の管理情報310および管理情報311が保護文書管理表31に登録されると、図2(d)および図3(c)に示すように、紙文書Aの各頁それぞれの文書IDおよび頁IDを予め設定された変換方法で所定のドットパターンで配置されるパターン画像に変換してコード画像を生成し、生成した各コード画像を電子文書A40の各頁の画像に合成して付加した後、複合機1が備える用紙上に形成して各頁の紙文書Aをそれぞれ印刷出力する。
紙文書A(1頁目)45は、具体的には、図3(c)に示すように、電子文書A(1頁目)41の画像410に紙文書A(1頁目)45のコード画像453が付加された紙文書A(1頁目)45が形成されて出力され、紙文書A(2頁目)46は、図2(d)に示すように、紙文書A(1頁目)と同様に、紙文書A(2頁目)46の画像に紙文書A(2頁目)46のコード画像463が付加された紙文書A(2頁目)46が形成されて出力される。
図2および図3に示した、保護されていない文書から新たに保護文書(紙文書)を生成する場合の複合機1による処理動作について、図4の流れ図を参照して説明する。
図4に示すように、複合機1は、保護文書出力が指定されて印刷指示された電子文書A(2頁で構成されている)40の印刷ジョブを受信すると(ステップS101)、複合機1の判別画像生成部15が電子文書A40の各頁(1頁目および2頁目)の画像からエッジ部のエッジ画像をそれぞれ抽出し、抽出した各エッジ画像を2値(白、黒)化して各頁の判別画像(エッジ画像)を生成後、所定の保存場所に保存する(ステップS102)。
電子文書A40の各頁の判別画像(エッジ画像)が保存されると、保護情報取得部14が電子文書A40の印刷ジョブに含まれる属性情報を解析して電子文書A(1頁目)41から生成される紙文書A(1頁目)45の保護情報と、電子文書A(2頁目)42から生成される紙文書A(2頁目)46の保護情報を取得し(ステップS103)、識別情報生成部13が紙文書A(1頁目)45および紙文書A(2頁目)46それぞれの文書IDおよび頁IDを生成する(ステップS104)。
紙文書Aの各頁の文書IDおよび頁IDが生成されると、管理情報生成部16が紙文書Aの各頁の文書IDおよび頁IDと、紙文書Aの各頁に対応する判別画像の格納場所と、紙文書Aの各頁に対応する保護情報等の各種情報を関連付けた管理情報を紙文書Aの各頁毎に生成し、生成した各管理情報およびその管理情報の保護文書管理表31への登録要求をポリシーサーバ3へ送信して登録する(ステップS105)。
ポリシーサーバ3は、複合機1からの管理情報の登録要求とともに送信された管理情報を保護文書管理表31に記録して登録し、登録後、登録した旨を複合機1へ通知する。
紙文書Aの管理情報の登録後、画像処理部23が各頁の紙文書Aの文書IDおよび頁IDを予め設定された変換方法で所定のドットパターンで配置されるパターン画像に変換してコード画像を生成し(ステップS106)、生成した各コード画像をそれぞれの頁の電子文書A40の画像に合成して付加した画像を生成し(ステップS107)、その生成された画像を画像形成部24が複合機1が備える用紙上に形成して紙文書Aを出力する(ステップS108)。
次に、保護文書の各種文書処理を行う際の保護文書のなりすましの有無の判別結果および保護文書の保護情報に基づく本発明に係わる保護文書の各種処理の一例について、図5および図6を参照して説明する。
図5および図6は、保護文書の各種文書処理に際して、当該保護文書のなりすましの有無を判別し、その判別結果および当該保護文書の保護情報に基づく文書処理の一例を示す説明図である。
本実施例は、前述の保護された紙文書A(1頁目)45にペンなどの筆記用具でコメントなどが追記された紙文書B47の複製操作に際して、紙文書B47のなりすましの有無を判別し、その判別結果および紙文書B47の保護情報に基づく文書処理の一例を示したものである。
図5(a)および図6(a)に示すように、紙文書A(1頁目)45(図2(d)および図3(c)参照)にテスト454の手書き文字がユーザにより追記された紙文書B47を複合機1の自動原稿送り装置あるいはプラテンガラス上にセットして、複製処理を指示すると、複合機1は、紙文書B47を光学的に走査して図5(b)および図6(b)に示すような画像(以下、「読取画像Bという。」)48を読み取り、読取画像B48に含まれているコード画像483から紙文書B47の保護情報を取得する。
紙文書B47の保護情報の取得は、複合機1が読取画像B48を解析して読取画像B48に含まれるコード画像483を抽出し、抽出したコード画像483から紙文書B47の文書IDおよび頁IDを検知し、検知した文書IDおよび頁IDと対応付けされた管理情報310をポリシーサーバ3に問合せて取得し、取得した管理情報310の「保護情報」に記録された情報を紙文書B47の保護情報として取得することにより行われる。
一方、ポリシーサーバ3は、複合機1からの文書IDおよび頁IDに対応する管理情報の問合せに対して、保護文書管理表31(図5(f))を参照して、当該文書IDおよび頁IDと対応付けされた管理情報310を特定して複合機1へ通知する。
本例の場合、紙文書B47は、紙文書A(1頁目)45にペンなどの筆記用具でコメントなどが追記されたものであるので、紙文書B47の読取画像B48に含まれているコード画像483から紙文書B47の文書IDおよび頁IDの「001」および「01」が複合機1により検知され、検知した文書IDおよび頁IDに基づく複合機1から紙文書B47の管理情報の問い合わせに対してポリシーサーバ3が図5(f)に示す保護文書管理表31を参照して、「文書ID」および「頁ID」に記録された情報と紙文書B47の文書IDおよび頁IDとが一致する管理情報310を特定して複合機1に返信することで取得される。
紙文書B47の管理情報から保護情報を取得すると、取得した保護情報310から紙文書B47に対する本操作(複製処理)の可否を判別し、本操作が可の場合にのみ、更に紙文書B47のなりすましの有無を判別する。
尚、本操作(複製処理)の可否の判別および紙文書B47のなりすましの有無の判別の順番は、どちらを先に実施してもよく、特に限定するものではない。
紙文書B47からコード画像483が抽出できなかった場合、もしくはコード画像483から特定される文書IDおよび頁IDと対応付けられた管理情報が保護文書管理表31に未登録の場合は、紙文書B47が保護文書でないと判断して、紙文書B47に対する本操作(複製処理)を中止する。
また、取得した紙文書B47の保護情報から紙文書B47に対する本操作(複製処理)が否と判別された場合も本操作を中止する。
紙文書B47の保護情報に基づく本操作(複製処理)の可否の判別は、本操作を実施する操作者が本操作を指示する際に複合機1に入力する当該操作者のユーザ識別情報等から特定される当該操作者の役職等の属性情報と、保護情報とに基づき判別する。
また、紙文書B47のなりすましの有無の判別は、図5(f)に示すように、紙文書B47の管理情報310の「判別画像格納場所」に記録された情報から紙文書B47のなりすましの有無を判別するための判別画像A(1頁目)43の格納場所(本例の場合は、「C:¥ABC¥G00101」)を特定して、特定した格納場所から図5(d)および図6(d)に示すような判別画像(1頁目)43を取得し、取得した判別画像(1頁目)43と、紙文書B47の読取画像B48からエッジ部を抽出して2値化(白、黒)した図5(c)および図6(c)に示すようなエッジ画像(判別対象画像)B49との差の差分画像AB50(図5(e)および図6(e)参照)を生成して、生成した差分画像AB50の欠損部分の量、分布、比率等を用いて評価して判別する。
図6(c)に示すように、エッジ画像(判別対象画像)B49には紙文書A(1頁目)45の画像450に対応する読取画像480に加えてユーザにより追記されたテスト454の手書き文字に対応する読取画像484のエッジ画像494が存在するので、判別対象画像B49と判別画像(1頁目)43から差分画像50を生成すると、エッジ画像(テスト)494に対応するエッジ画像(テスト)504の差分画像50が生成される(図6(c)乃至図6(e)参照)。
ここで言う差分画像の欠損画素とは、保護文書(紙文書B)の判別対象画像(判別対象画像B49)と判別画像(判別画像(1頁目)43)から生成される差分画像(差分画像AB50)において、判別画像が黒画素で、且つその黒画素に対応する判別対象画像が白画素の場合に、その差分画像の画素を欠損画素という。
この差分画像の欠損画素の特徴を用いる理由は、オフィス内では、紙文書にコメントなどの追記が行われることも多く、差分画像における追加部分もなりすましの有無の判別要素に含めると、なりすましの判断ができないため、差分画像の欠損部分のみで判断する。
例えば、図6(e)における差分画像50内のエッジ画像(テスト)504は、ユーザにより追記された文字であることから、判別画像では白画素で、その白画素に対応する判別対象画像が黒画素である追記画素を示したものであり、なりすましの有無の判断には用いられない。
保護文書の差分画像の欠損画素の量に基づくなりすましの判断方法としては、例えば、差分画像の欠損画素数が予め設定された第1の閾値を超えた場合に、保護文書(紙文書B47)をなりすましの文書であると判断する方法を用いることができる。
この場合、第1の閾値を判別画像の黒画素数に第1の値(任意に設定可)を乗算した画素数と設定する。
第1の値を0.1とすれば第1の閾値が判別画像の黒画素数の10パーセントの画素数となり、差分画像の欠損画素数が判別画像の黒画素数の10パーセントを超えた場合に操作対象の保護文書は、なりすましと判断する。
第1の閾値の所定の値を任意に設定可とすることで、対象装置(複合機1、複写機、印刷装置、シュレッダ等)に応じて保護文書のなりすましの判別基準を厳しくしたり、緩くしたりすることができる。
また、更に、第1の閾値に加えて、判別画像の黒画素数に第2の値(任意に設定可)を乗算して算出される第2の閾値を用い、差分画像の欠損画素数が所定の範囲内(第1の閾値を超え、且つ第2の閾値を超えていない)であるか等で判別するようにしてもよい。 このような第1の閾値および第2の閾値を用いることで、例えば、保護文書の差分画像の欠損画素数が第2の閾値を超えた場合は、当該保護文書の操作を中止するが、第1の閾値を超えているが第2の閾値を超えていない場合は、当該保護文書の操作を中止しないで、管理者への通報やログを残すことなどの処置を行うなどの判断を実施することができる。
また、保護文書の差分画像の欠損部分の分布、比率に基づくなりすましの判断方法としては、差分画像の欠損画素数に応じてポイントを加算し、そのポイント数が所定の値を超えた時に、保護文書がなりすましであると判断する方法を用いることができる。
この場合は、図6(a)に示すように、紙文書B47に形成された画像450の文字部451と絵柄部452とでは、その部分の1欠損画素数当たりのポイント数を変えて加算するようにしてもよい。
具体的には、例えば、文字部451の欠損画素は2ポイント、絵柄部452の欠損画素は1ポイントとして算出する。
ここでの文字部451の2ポイントおよび絵柄部452の1ポイントの重み付けは、これに限定するものではないが、使用する文字情報の重要性など、環境に応じて更に文字部451の重み付けを行っても良い。
この差分画像の欠損画素から欠損部分に対応して重み付けされて算出されるポイント数(以下、「欠損ポイント数」という。)は、差分画像の文字部451の欠損画素数に、その重み付けされたポイント数(以下、「重み値(文字部)」といい、この場合は2ポイント)を乗算した値(文字部算出ポイント数)と、絵柄部452の欠損画素数にその重み付けされたポイント数(以下、「重み値(絵柄部)」といい、この場合は1ポイント)を乗算した値(絵柄部算出ポイント数)を加算して算出する。
また、閾値を判別画像の文字部の黒画素数に重み値(文字部)を乗算した値と、絵柄部の黒画素数に重み値(絵柄部)を乗算した値とを加算した値に第3の値(任意に設定可)を乗算した値(以下、「判別ポイント数」という。)で算出し、この閾値を差分画像の欠損ポイント数が超えている場合に、保護文書がなりすましであると判断する。
この場合、判別画像(エッジ画像)を生成する際に、エッジ部を示す黒画素が文字部か、絵柄部かを示す情報も一緒に生成して保存しておく。
この差分画像の欠損部分の分布、比率に基づくなりすましの判断方法は、前述した差分画像の欠損画素数と閾値との比較による保護文書のなりすましの判別方法と比べて、文字部の欠損画素の寄与が大きい。即ち、差分画像の欠損画素数が同一であっても、その欠損画素数が保護文書の画像の文字部と絵柄部のどの部分に分布しているかの比率に応じてなりすましの判断結果が異なる。
このような、なりすましの判別方法を用いることで、複合機1の印刷時や画像読み取り時の各処理過程でのフィルタリングなどのぼかし処理により文字部451と絵柄部452とのエッジ抽出性能の違いが発生しても、文字部451と絵柄部452とで1欠損画素数当たりのポイント数を異なる値に設定して、ぼかし処理による差分画像の欠損画素の影響を抑制する。
また、同様に、文字部451でも句読点や漢字、ひらがな、かたかななどでの小さな点の部分に対してもそれらの部分に対応する差分画像の1欠損画素数当たりのポイント数を異なる値とすることで、その影響を抑制する。
この場合は、具体的には、差分画像AB50の欠損画素のうちの紙文書B47の句読点や小さな点部分の1欠損画素数当たりのポイント数を低く設定する。
なお、絵柄部のポイント数を文字部のポイント数より低くしたり、文字部でも句読点や漢字、ひらがな、かたかななどでの小さな点の部分を低くくしたりするのは、これらの部分は上記のフィルタリングなどのぼかし処理により適切なエッジ抽出が出来ない可能性があるためである。
また、保護文書の判別画像と判別対象画像から差分画像を生成する際に、判別対象画像に対して膨張処理を施した後、膨張処理された判別対象画像と判別画像から差分画像を生成するようにしてもよい。
この場合、膨張処理された判別対象画像は、判別画像より太くなる可能性があるが、この太くなった部分の画像は、当該判別対象画像と判別画像から生成される差分画像においては追加部分に相当し、差分画像の欠損部分には影響しないため、保護文書のなりすましの有無の判別への影響は少ない。
例えば、紙文書B47に形成された画像450の文字部451に密な漢字や似た文字(英字であれば「Q」と「O」等)が存在する場合、その部分には欠損画素が全く発生しない可能性がある。
即ち、文字部451において、文字のフォントサイズ、行間のサイズ、1行あたりの文字数が同一で、且つ上記のような密な漢字や似た文字ばかりで構成されている部分は、そうでない部分とを比べて欠損画素数が殆ど発生しない場合が考えられるが、一般的には、密な漢字や似た文字ばかりで構成されている文字部451は殆ど存在しないと予測されることから、膨張処理された判別対象画像によるなりすましの判断への影響は、ほとんど少ない。
また、複数頁からなる保護文書を印刷した際の最終頁が、数行分しか存在しない場合、当該保護文書の判別対象画像(エッジ画像)および判別画像(エッジ画像)の画素数が少なくなることから、当該保護文書に対するなりすましの判断が甘くなることが考えられるが、この場合には、当該保護文書から判別対象画像を生成する際に、判別対象画像中のエッジ群にオブジェクトの属性を付与し、そのエッジ画像を基にオブジェクトを判定する方法を用いることで、その問題を解消する。
このエッジ画像を基にオブジェクトを判定する方法としては、特開昭64−15889、特開2001−143076、特開2003−271973など従来技術に開示された技術を用いてもよく、また、オブジェクトの属性の付与は、エッジ画像中のエッジ群ではなく保護文書の画像に付与して当該画像を基にオブジェクトを判定するようにしてもよい。
この場合も判別対象画像と判別画像との差分画像中の欠損画素の量、分布、比率等の特徴を前述した方法と同様に算出した算出結果に基づき保護文書に対するなりすましの判別を行う。
また、この場合、欠損画素として、差分画像中の判別画像が黒画素で、且つその黒画素が含まれるエッジ群の属性と、その黒画素に対応する判別対象画像の画素が含まれるエッジ群の属性とが一致しない場合に、その差分画像の画素を欠損画素として認識するようにする。
したがって、判別画像の黒画素の属性が文字で、その黒画素に対応する判別対象画像の画素の属性が写真の画像の場合は、欠損画素と判定する。
このように判別対象画像に膨張処理を施すことで、複合機1の印刷時の性能や画像読み取り時の性能により、読取画像から抽出されるエッジ画像のエッジの細りや微妙なずれを吸収する。
また、紙文書B47からの画像の読み取り時のスキューの補正は、従来技術を用いて行うようにしてもよい。
このような判別対象画像B49と判別画像A(1頁目)43から生成される差分画像AB50の欠損部分の特徴を用いた判別方法により、紙文書B47がなりすましの文書でないとの判別結果が得られた場合のみ、本操作(複製処理)を実施する。
本操作(複製処理)の実施は、紙文書B47が複製処理されて生成される紙文書Cの保護情報と、紙文書Cの文書IDおよび頁IDを生成し、生成した紙文書Cの文書IDおよび頁IDと、紙文書B47のなりすましの有無の判別の際に参照した判別画像43の格納場所と、紙文書Cの保護情報等の各種情報を関連付けた図5(f)に示すような管理情報312を生成して保護文書管理表31へ登録する。
紙文書Cの管理情報の登録後、図5(g)および図6(f)に示すように、紙文書Cの文書IDおよび頁IDを予め設定された変換方法で所定のドットパターンで配置されるパターン画像に変換してコード画像を生成し、生成したコード画像を読取画像B48からコード画像483が除かれた画像に合成して付加した後、複合機1が備える用紙上に紙文書Cを形成して出力する。
なお、図5、図6の例では、差分画像の欠損画素に基づく、上記のいずれかの手法によりなりすましの有無を判断した結果、なりすましは無かったものとして紙文書Cが形成された例を示すものである。なりすましが存在した場合は紙文書Cは形成されない。
図5および図6に示した、保護文書のなりすましの有無の判別結果および当該保護文書の保護情報に基づく文書処理の複合機1による処理動作について、図7の流れ図を参照して説明する。
図7に示すように、複合機1の自動原稿送り装置あるいはプラテンガラス上に紙文書B(保護文書)がセットされ、複製処理(処理操作)が指示されると(ステップS201)、複合機1の画像読取部11が紙文書Bをスキャンして紙文書Bに形成されている画像を読み取り、読み取った画像(読取画像B)を記憶部22の所定のメモリーに一時的に記憶する(ステップS202)。
紙文書Bから読み取られた読取画像Bは、識別情報検知部12により画像解析されて読取画像Bに含まれるコード画像が抽出される(ステップS203)
ステップS203において、読取画像Bからコード画像が抽出されなかった場合(ステップS204でNO)、コード画像が抽出されなかった旨を識別情報検知部12が制御部10へ通知し、制御部10が当該紙文書Bは、保護されていない文書と判断して、本操作(複製処理)を中止する制御を行う(ステップS213)。
ステップS203において、紙文書Bの読取画像Bからコード画像が抽出されると、識別情報検知部12が抽出されたコード画像に含まれる紙文書Bの文書IDおよび頁IDを特定し、保護情報取得部14が特定された文書IDおよび頁IDと対応付けされた紙文書Bの管理情報の取得をポリシーサーバ3に要求して取得し、取得した管理情報に記録された保護情報に基づき紙文書Bに対する本処理(複製処理)の可否を判別する(ステップS205)。
コード画像には、紙文書Bの文書IDおよび頁ID等の各情報が所定の規則に基づき2次元のドットパターン画像で形成されているので、コード画像のドットパターンから所定の規則に基づき変換することでコード画像に対応する文書IDおよび頁ID等の各情報が特定できるようになっている。
また、文書IDおよび頁IDと対応付けされた紙文書Bの保護情報の取得は、具体的には、保護情報取得部14が管理情報の取得要求とともに文書IDおよび頁IDを制御部10およびネットワークI/F部19を介してポリシーサーバ3に送信し、ポリシーサーバ3から返信される当該文書IDおよび頁IDに対応する管理情報を受信して取得する。
一方、ポリシーサーバ3は、複合機1からの管理情報の取得要求に対して、複合機1から送信された文書IDおよび頁IDと関連付けされた管理情報を保護情報管理表31を参照して特定し、特定した管理情報を複合機1へ送信して回答する。
ステップS205において、取得した紙文書Bの管理情報に記録された紙文書Bの保護情報から紙文書Bに対する本操作(複製処理)が許可されていないと識別情報検知部12が判断した場合は(ステップS206でNO)、識別情報検知部12は、紙文書Bが本操作を許可しないように保護されている旨を制御部10へ通知し、その通知された情報に基づき制御部10が本操作(複製処理)を中止する制御を行う(ステップS213)。
識別情報検知部12が紙文書Bの保護情報から紙文書Bに対する本操作(複製処理)を許可するように保護されていると判断した場合は(ステップS206でYES)、その判断結果に基づき判別画像取得部16が紙文書Bのなりすましの有無を判別するための判別画像を取得する(ステップS207)。
この判別画像の取得は、紙文書Bの管理情報の「判別画像格納場所」に記録された情報から紙文書B47の判別画像の格納場所を特定して取得する。
ステップS207において、紙文書Bの判別画像Bが取得されると、なりすまし判別部17が紙文書Bの読取画像Bからエッジ部を抽出して2値化(白、黒)したエッジ画像(判別対象画像)Bを抽出し(ステップS208)、抽出した判別対象画像(エッジ画像)Bと紙文書Bの判別画像Bとの差分の画像(差分画像)ABを生成し(ステップS209)、生成した差分画像ABの特性に基づき紙文書Bのなりすましの有無を判別する(ステップS210)。
紙文書Bのなりすましの有無を判別は、前述したように紙文書Bの判別画像Bと判別対象画像Bとの差分画像ABの欠損画素の量、分布、比率等、差分画像の欠損部分の特徴を用いた方法で判別する。
ステップS210において、なりすまし判別部17が紙文書Bのなりすましの有無の判別を無と判断した場合は(ステップS211でYES)、紙文書Bに対する本操作(複製処理)の実施を行う(ステップS212)。
紙文書Bに対する本操作(複製処理)は、紙文書Cの文書IDおよび頁IDを生成し、生成した紙文書Cの文書IDおよび頁IDと、紙文書B47のなりすましの有無の判別の際に参照した判別画像43の格納場所と、紙文書Cの保護情報等の各種情報を関連付けた管理情報を生成して保護文書管理表31へ登録後、紙文書Cの文書IDおよび頁IDを予め設定された変換方法で所定のドットパターンで配置されるパターン画像に変換してコード画像を生成し、生成したコード画像を紙文書Cの印刷画像に合成して付加した後、複合機1が備える用紙上に形成して紙文書Cを出力する。
また、紙文書Bのなりすましの有無の判別を有と判断した場合は(ステップS211でNO)、その旨を制御部10へ通知し、制御部10が紙文書B対する本操作(複製処理)の実施を中止する制御を行う(ステップS213)。
次に、複合機1の制御に基づく破棄装置による紙文書の破棄操作に対応した処理動作について説明する。
複合機1の図示せぬ破棄装置(シュレッダー等)に紙文書(保護文書)をセットし、破棄処理(処理操作)を指示すると、破棄装置が備える図示せぬ画像読取装置が紙文書をスキャンして紙文書に形成されている画像を読み取り、読み取った画像を複合機1に送信して、記憶部22の所定のメモリーに一時的に記憶する。
紙文書から読み取られた読取画像は、複合機1の識別情報検知部12により画像解析されて読取画像に含まれるコード画像が抽出される。
読取画像からコード画像が抽出されなかった場合、その旨が複合機1の制御部10へ通知され、制御部10の指令に基づき破棄装置が当該紙文書を破棄せずに破棄装置が具備する図示せぬ文書保管トレーに廃止して保管する。
紙文書の読取画像からコード画像が抽出されると、識別情報検知部12が抽出されたコード画像に含まれる紙文書の文書IDおよび頁IDを特定し、保護情報取得部14が特定された文書IDおよび頁IDと対応付けされた紙文書の管理情報の取得をポリシーサーバ3に要求して取得し、取得した管理情報に記録された保護情報に基づき紙文書に対する本処理(破棄処理)の可否を判別する。
取得した紙文書の管理情報に記録された紙文書の保護情報から紙文書に対する本操作(破棄処理)が許可されていないと識別情報検知部12が判断した場合は、識別情報検知部12は、紙文書が本操作を許可しないように保護されている旨を制御部10へ通知し、制御部10の指令に基づき破棄装置が当該紙文書を破棄せずに破棄装置が具備する図示せぬ文書保管トレーに廃止して保管する。
識別情報検知部12が紙文書の保護情報から紙文書に対する本操作(破棄処理)を許可するように保護されていると判断した場合は、その判断結果に基づき判別画像取得部16が紙文書Bのなりすましの有無を判別するための判別画像を取得する。
この判別画像の取得は、紙文書の管理情報の「判別画像格納場所」に記録された情報から紙文書の判別画像の格納場所を特定して取得する。
紙文書の判別画像が取得されると、なりすまし判別部17が紙文書の読取画像からエッジ部を抽出して2値化(白、黒)したエッジ画像(判別対象画像)を抽出し、抽出した判別対象画像(エッジ画像)と紙文書の判別画像との差分の画像(差分画像)を生成し、生成した差分画像の特性に基づき紙文書のなりすましの有無を判別する。
紙文書のなりすましの有無の判別は、前述したように紙文書の判別画像と判別対象画像との差分画像の欠損画素の量、分布、比率等、差分画像の欠損部分の特徴を用いた方法で判別する。
なりすまし判別部17が紙文書のなりすましの有無の判別を無と判断した場合は、その旨が制御部10へ通知され、制御部10の指令に基づき破棄装置が紙文書に対する本操作(破棄処理)を実施する。
なお、本発明は、通信機能を備えた画像処理システムで上述の動作を実行させ、あるいは上述の手段を構成させるためのプログラムを格納した記録媒体(CD−ROM、DVD−ROM等)から該プログラムをコンピュータにインストールし、これを実行させることにより、上述の処理を実行する情報処理システムを構成することも可能である。
また、プログラムを供給するための媒体は、通信媒体(通信回線、通信システムのように一時的または流動的にプログラムを保持する媒体)でもよい。例えば、通信ネットワークの電子掲示板(BBS:Bulletin Board Service)に該プログラムを掲示し、これを通信回線を介して配信するようにしてもよい。
本発明は、文書を保護するための種々な利用形態に対応した画像処理技術に適用可能である。
本発明に係わる画像処理システム100の主な構成を示す構成図 保護されていない文書から新たに保護文書(紙文書)を生成する場合の一例を示す説明図 保護されていない文書から新たに保護文書(紙文書)を生成する場合の一例を示す説明図 保護されていない文書から新たに保護文書(紙文書)を生成する場合の処理動作の流れ図 保護文書に対するなりすましの判別結果および当該保護文書の保護情報に基づく文書処理の一例を示す説明図 保護文書に対するなりすましの判別結果および当該保護文書の保護情報に基づく文書処理の一例を示す説明図 保護文書に対するなりすましの判別結果および当該保護文書の保護情報に基づく文書処理の流れ図
符号の説明
1 複合機
2 ネットワーク
3 ポリシーサーバ
4 クライアントPC
10 制御部
11 画像読取部
12 識別情報検知部
13 識別情報生成部
14 保護情報取得部
15 判別画像生成部
16 判別画像取得部
17 なりすまし判別部
18 管理情報生成部
19 文書処理部
20 ネットワークI/F部
21 ユーザI/F部
22 記憶部
23 画像処理部
24 画像形成部
31 保護文書管理表
41 電子文書A(1頁目)
42 電子文書A(2頁目)
43 判別画像A(1頁目)
44 判別画像A(2頁目)
45 紙文書A(1頁目)
46 紙文書A(2頁目)
47 紙文書B
48 読取画像B
49 判別対象画像B
50 差分画像AB
100 画像処理システム
310、311、312、313、314、315 管理情報
320 属性情報部
321 データ部
322 電子文書C
410、450 画像
411、451 文字部
412、452 絵柄部
453、463、513 コード画像
454 手書き文字(テスト)

Claims (6)

  1. 紙文書に付与された識別情報と、前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像とを対応付けて管理する判別画像管理手段と、
    前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段と、
    前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段と、
    前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記判別画像管理手段から取得する取得手段と、
    前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段と、
    前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段と、
    前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段と、
    前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段と
    を具備する画像処理装置。
  2. 前記判別画像管理手段は、
    前記識別情報により識別される判別画像のエッジ成分から成るエッジ画像を管理し、
    前記第2の判定手段は、
    前記読取手段により読み取った前記紙文書の画像のエッジ成分から成るエッジ画像を生成し、該生成したエッジ画像と前記取得手段で取得した判別画像のエッジ画像との差分を算出する
    請求項1記載の画像処理装置。
  3. 前記第2の判定手段は、
    前記紙文書から読み取った画像のエッジ画像から前記判別画像のエッジ画像を差し引いた差分情報の負となる成分の量、分布、比率のいずれかに基づき前記紙文書がなりすましか否かを判定する
    請求項2記載の画像処理装置。
  4. 紙文書を廃棄する廃棄手段と、
    紙文書を保管する保管手段と、
    前記紙文書を廃棄させずに前記保管手段に保管する制御を行なう保管制御手段と
    を具備し、
    前記読取手段は、
    前記紙文書の破棄の操作に対応して前記紙文書から画像情報を読取り、
    前記第1または第2または第3の判定手段は、
    前記読取手段で読み取った画像に対する前記破棄の操作に対応する処理の可否を判定し、
    前記保管制御手段は、
    前記第1または第2または第3の判定手段により前記廃棄の操作が否と判定された場合、前記紙文書を前記保管手段に保管する制御を行う
    請求項1乃至3のいずれかに記載の画像処理装置。
  5. 紙文書に付与する識別情報に対応して前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像を管理する管理装置と、
    前記紙文書から読み取った画像を画像処理する画像処理装置と
    を有し、
    前記画像処理装置は、
    前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段と、
    前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段と、
    前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記管理装置から取得する取得手段と、
    前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段と、
    前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段と、
    前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段と、
    前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段
    を具備する画像処理システム。
  6. コンピュータを、
    紙文書に付与された識別情報と、前記紙文書に対する操作の可否を定めた保護情報および前記紙文書のなりすましを判別する判別画像とを対応付けて管理する判別画像管理手段、
    前記識別情報が付与された紙文書に対する操作に対応して前記識別情報を含む前記紙文書の画像を読み取る読取手段、
    前記読取手段で読み取った前記紙文書の画像から前記識別情報を抽出する抽出手段、
    前記抽出手段により抽出された前記識別情報に対応する前記保護情報および前記判別画像を前記判別画像管理手段から取得する取得手段、
    前記取得手段で取得した前記保護情報に基づき前記紙文書に対する操作の可否を判定する第1の判定手段、
    前記取得手段で取得した判別画像と前記読取手段により読み取った前記紙文書の画像との差分情報に基づき前記紙文書がなりすましか否かを判定する第2の判定手段、
    前記第1の判定手段による判定結果と前記第2の判定手段による判定結果に基づき前記紙文書から読み取った画像の処理の可否を判定する第3の判定手段、
    前記第3の判定手段により前記処理が可と判定された場合、前記読取手段により前記紙文書から読み取った画像に前記操作に対応した画像処理を行う画像処理手段
    として機能させる画像処理プログラム。
JP2008008155A 2008-01-17 2008-01-17 画像処理装置、画像処理システムおよび画像処理プログラム Expired - Fee Related JP4609495B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008008155A JP4609495B2 (ja) 2008-01-17 2008-01-17 画像処理装置、画像処理システムおよび画像処理プログラム
US12/234,120 US8218178B2 (en) 2008-01-17 2008-09-19 Image processing apparatus, image processing method, recording medium storing image processing program, and computer data signal embedded in carrier wave

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008008155A JP4609495B2 (ja) 2008-01-17 2008-01-17 画像処理装置、画像処理システムおよび画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009171314A true JP2009171314A (ja) 2009-07-30
JP4609495B2 JP4609495B2 (ja) 2011-01-12

Family

ID=40876271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008008155A Expired - Fee Related JP4609495B2 (ja) 2008-01-17 2008-01-17 画像処理装置、画像処理システムおよび画像処理プログラム

Country Status (2)

Country Link
US (1) US8218178B2 (ja)
JP (1) JP4609495B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5651938B2 (ja) * 2009-09-14 2015-01-14 株式会社リコー 画像形成装置、画像形成装置の制御方法、及び画像形成装置の制御プログラム
JP5724996B2 (ja) * 2012-12-06 2015-05-27 コニカミノルタ株式会社 画像処理方法、画像形成装置及び画像形成システム
JP6163233B1 (ja) * 2016-06-03 2017-07-12 株式会社フライデーナイト 印刷サーバ装置、印刷物構成方法、およびプログラム
CN113726824B (zh) * 2021-11-03 2022-01-07 成都无糖信息技术有限公司 一种基于图像特征的诈骗网站查找方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092670A (ja) * 2000-09-11 2002-03-29 Hitachi Ltd Icカード旅客輸送券、改札装置及び検札装置
JP2005262135A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 廃棄物管理装置、廃棄物管理方法、及び廃棄物管理制御プログラム
JP2006209286A (ja) * 2005-01-26 2006-08-10 Fuji Xerox Co Ltd 文書管理システム、情報処理装置、および方法、並びにコンピュータ・プログラム
JP2006235666A (ja) * 2005-02-22 2006-09-07 Hitachi Software Eng Co Ltd 利用者認証システム
JP2006345530A (ja) * 2005-06-08 2006-12-21 Samsung Electronics Co Ltd 画像形成防止文書の検出装置及び方法
JP2007122210A (ja) * 2005-10-26 2007-05-17 Oki Electric Ind Co Ltd 更新履歴管理装置および更新履歴管理方法
JP2007235226A (ja) * 2006-02-27 2007-09-13 Kyocera Mita Corp 印刷物管理システム
JP2007306295A (ja) * 2006-05-11 2007-11-22 Fuji Xerox Co Ltd 画像処理システム、画像処理方法、及び画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821057B2 (ja) 1987-07-10 1996-03-04 日本電気株式会社 文書画像解析方式
US5510896A (en) * 1993-06-18 1996-04-23 Xerox Corporation Automatic copy quality correction and calibration
JP2001143076A (ja) 1999-11-11 2001-05-25 Fuji Xerox Co Ltd 画像処理装置
JP2003271973A (ja) 2002-03-18 2003-09-26 Fuji Xerox Co Ltd 画像処理方法および画像処理プログラム
JP2004072343A (ja) 2002-08-05 2004-03-04 Ricoh Co Ltd 画像形成装置、画像形成方法および同方法のプログラムを記録した記録媒体
JP4704010B2 (ja) 2003-11-14 2011-06-15 株式会社リコー 画像形成装置、画像形成システム、セキュリティ管理装置およびセキュリティ管理方法
JP4591230B2 (ja) * 2005-06-23 2010-12-01 富士ゼロックス株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4548733B2 (ja) * 2006-03-01 2010-09-22 株式会社リコー 画像処理装置、方法、プログラムおよび記録媒体
US8159716B2 (en) * 2007-08-31 2012-04-17 Brother Kogyo Kabushiki Kaisha Image processing device performing image correction by using a plurality of sample images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092670A (ja) * 2000-09-11 2002-03-29 Hitachi Ltd Icカード旅客輸送券、改札装置及び検札装置
JP2005262135A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 廃棄物管理装置、廃棄物管理方法、及び廃棄物管理制御プログラム
JP2006209286A (ja) * 2005-01-26 2006-08-10 Fuji Xerox Co Ltd 文書管理システム、情報処理装置、および方法、並びにコンピュータ・プログラム
JP2006235666A (ja) * 2005-02-22 2006-09-07 Hitachi Software Eng Co Ltd 利用者認証システム
JP2006345530A (ja) * 2005-06-08 2006-12-21 Samsung Electronics Co Ltd 画像形成防止文書の検出装置及び方法
JP2007122210A (ja) * 2005-10-26 2007-05-17 Oki Electric Ind Co Ltd 更新履歴管理装置および更新履歴管理方法
JP2007235226A (ja) * 2006-02-27 2007-09-13 Kyocera Mita Corp 印刷物管理システム
JP2007306295A (ja) * 2006-05-11 2007-11-22 Fuji Xerox Co Ltd 画像処理システム、画像処理方法、及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
US20090185235A1 (en) 2009-07-23
JP4609495B2 (ja) 2011-01-12
US8218178B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
JP5195519B2 (ja) 文書管理装置、文書処理システム、文書管理方法
JP4974963B2 (ja) 画像形成装置及びドットパターン較正方法ならびにプログラム
JP4692766B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP2009177726A (ja) 画像処理装置、画像処理方法、そのプログラム及び記憶媒体
JP2009118339A (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP4791907B2 (ja) 情報追跡方法、画像形成装置、情報処理装置及び情報追跡プログラム
JP4609495B2 (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
US8416464B2 (en) Document processing apparatus and document processing method
JP2005175773A (ja) 画像形成装置及び画像形成方法
JP2005208890A (ja) 検査装置、検査プログラム、検査方法、制御装置、制御プログラム、及び、制御方法
JP2005205722A (ja) 検査画像データ管理装置、制御装置、制御プログラム、及び、制御方法
JP2008048367A (ja) 許可媒体、画像形成装置、画像形成システム及びプログラム
JP4895696B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP4087836B2 (ja) 画像形成装置
JP5223981B2 (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
KR102063440B1 (ko) Qr 코드가 삽입된 출력물의 출력 방법 및 시스템
JP5061913B2 (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
JP6113258B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
US11544016B2 (en) Information processing system, image processing apparatus, information processing method, and recording medium for using stored featured values to form an image
JP6022417B2 (ja) 画像形成装置及び画像形成方法
JP4867456B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6926564B2 (ja) 画像処理装置及びプログラム
JP4864907B2 (ja) 画像形成装置、画像読取方法およびプログラム
JP4674539B2 (ja) 印刷指示装置、その指示方法およびプログラム
JP2006157104A (ja) 画像形成システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees