JP2009206928A - 画像処理装置、画像処理方法及び制御プログラム - Google Patents

画像処理装置、画像処理方法及び制御プログラム Download PDF

Info

Publication number
JP2009206928A
JP2009206928A JP2008048098A JP2008048098A JP2009206928A JP 2009206928 A JP2009206928 A JP 2009206928A JP 2008048098 A JP2008048098 A JP 2008048098A JP 2008048098 A JP2008048098 A JP 2008048098A JP 2009206928 A JP2009206928 A JP 2009206928A
Authority
JP
Japan
Prior art keywords
image processing
image
unit
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008048098A
Other languages
English (en)
Other versions
JP4999730B2 (ja
JP2009206928A5 (ja
Inventor
Yasuhiro Kozuka
保広 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008048098A priority Critical patent/JP4999730B2/ja
Priority to US12/395,278 priority patent/US8780372B2/en
Priority to CN200910119115A priority patent/CN101521714A/zh
Publication of JP2009206928A publication Critical patent/JP2009206928A/ja
Publication of JP2009206928A5 publication Critical patent/JP2009206928A5/ja
Application granted granted Critical
Publication of JP4999730B2 publication Critical patent/JP4999730B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • H04N1/00843Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
    • H04N1/00846Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote based on detection of a dedicated indication, e.g. marks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00875Inhibiting reproduction, e.g. by disabling reading or reproduction apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/4413Restricting access, e.g. according to user identity involving the use of passwords, ID codes or the like, e.g. PIN
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/444Restricting access, e.g. according to user identity to a particular document or image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H04N2201/323Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image for tracing or tracking, e.g. forensic tracing of unauthorized copies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3271Printing or stamping

Abstract

【課題】画像処理装置が、コピー禁止等の制限事項が埋め込まれている原稿を読み取って電子化されたデータを格納した場合に、セキュリティポリシーを引継いで出力されるようにし、情報漏洩を抑制する。
【解決手段】画像処理装置は、コピー禁止等の制限事項が埋め込まれている原稿を読み取って電子化されたデータを格納する。画像処理装置は、格納した電子化データに対し、埋め込まれた制限事項の情報を欠落させるような画像処理を制限して制限事項が埋め込まれた状態を維持して出力する。または、画像処理装置は、格納した電子化データを制限情報が付加された送信データ形式として出力する。
【選択図】図11

Description

本発明は、原稿に埋め込まれたコード化情報を読み取り、コード化情報に基づき画像出力制御が行われる画像処理装置に係わる。特に、コード化情報をもつ電子化データに対する処理を制限することでコード化情報の喪失を防止する画像処理装置、画像処理方法及び制御プログラムに関する。
近年、オフィスのIT化の促進に伴い、セキュリティに対する関心が高まってきている。例えば、企業の保持している顧客情報が漏洩すると、個人のプライバシが脅かされる虞があり、大きな社会問題になっている。
一般に、これらの問題に対処するため、例えば、電子化された機密情報に対しては、アクセス権限を有する者のみしかアクセスできないようにして漏洩を抑制する手段を講じる。また、インターネットに接続されたパーソナルコンピュータ(PC)が備えるファイアウォールに監視装置を設ける等して、電子化された機密情報が、企業外へ漏洩することを防ぐようにする対処が行われている。このように、電子化された機密情報の場合には、上述のように監視ポリシーを決定し、実施することによって機密情報をガードすることができる。
一方、機密情報が画像形成装置等で用紙媒体に印刷された場合には、この機密情報(組織の機密や個人のプライベート情報)が印刷された用紙を、企業外へ持ち出すことを確認・禁止することが困難となる。このため、機密情報が印刷された用紙の持ち出しを制限することは、電子化された機密情報の持ち出しを制限することよりも困難であり、セキュリティの維持を難しくしている。
近年、電子透かし(ウォーターマーク)技術又は2次元バーコード等の情報埋め込み技術を利用して、印刷時に用紙媒体そのものに本体の画像に加えて、画像以外の情報を埋め込む技術が用いられている。このような埋め込み情報の利用の仕方の一例として、以下のようなユースケースが考えられる。たとえば、画像を印刷する場合に画像以外の情報として画像を印刷したユーザの情報などを埋め込むことで、その画像が機密情報であった場合に、埋め込んだ情報から機密画像を印刷したユーザを特定することが可能になる。よって不用意に機密画像の印刷出力を持ち出して情報を漏洩した場合には、追跡情報から情報を漏洩した者の責任が追及されることになるので、情報漏洩の抑止効果を期待することができる。
また、埋め込み情報の別のユースケースとして、既知の電子透かし(ウォーターマーク)技術や2次元バーコード技術を用いて、印刷を実施する際に用紙媒体そのものにコピーを禁止する複写制限情報を埋め込むシステムが提案されている。このシステムでは、複写制限情報が埋め込まれた原稿を、画像形成装置で複写するときに、複写制限情報を抽出し、コピーの可否を検知してコピーの継続、中止をページ毎に制御する。さらに、このシステムでは、パスワード情報や許可ユーザ情報を条件情報として埋め込み、特定のユーザにのみ複写を許可するようにしている(例えば、特許文献1参照)。上述した埋め込み情報のユースケースは機密画像の漏洩を防止する、即ちセキュリティのための用途であるが、セキュリティ以外の用途に埋め込み情報を用いても良い。
特開2003−280469号公報
しかし、例えば、画像形成装置において、情報が埋め込まれている原稿をスキャンして得られた画像データを、解像度を劣化させる等の画像処理をした場合には、埋め込み情報が欠落してしまう虞がある。埋め込み情報が欠落した画像データを他の画像処理装置等に送信した場合には、送信先の画像処理装置で、埋め込み情報無しで画像が出力されてしまう。たとえば、埋め込み情報を上述のようなセキュリティのために用いている場合には、このような埋め込み情報の欠落はセキュリティホールの一因となってしまう虞がある。
本発明の目的は、コピー禁止等の制限事項が埋め込まれている原稿を読み取って電子化されたデータを格納する。この格納されたデータが、制限事項が埋め込まれた状態を維持し又は制限事項の情報が付加された状態となって、埋め込まれた情報が欠落することなく出力されるようにする画像処理装置、画像処理方法及び制御プログラムを提供することにある。
上記目的を達成するために、請求項1記載の画像処理装置は、画像データを入力する画像入力手段と、前記画像データに対して画像処理を行う画像処理手段と、原稿の画像に埋め込まれた埋め込み情報を検出する検出手段と、前記検出手段が前記画像データから埋め込み情報を検出した場合に、前記画像処理手段が前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御手段と、を備えることを特徴とする。
上記目的を達成するために、請求項11記載の画像処理方法は、画像処理装置における画像処理方法であって、画像データを入力する画像入力工程と、
前記画像データに対して画像処理を行う画像処理工程と、原稿の画像に埋め込まれた埋め込み情報を検出する検出工程と、前記検出工程で前記画像データから埋め込み情報を検出した場合に、前記画像処理工程で前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御工程と、を備えることを特徴とする。
上記目的を達成するために、請求項12記載の制御プログラムは、画像処理装置における画像処理方法を実行させるための制御プログラムであって、前記画像処理方法は、画像データを入力する画像入力工程と、前記画像データに対して画像処理を行う画像処理工程と、原稿の画像に埋め込まれた埋め込み情報を検出する検出工程と、前記検出工程で前記画像データから埋め込み情報を検出した場合に、前記画像処理工程で前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御工程と、を備えることを特徴とする。
本発明によれば、情報が埋め込まれている原稿を読み取って電子化した場合でも、埋め込まれた情報を欠落させることなく画像を出力させることができる。
以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の実施の形態に係わる画像処理装置を備えたネットワークシステムの全体的な概略構成の説明図である。
図1に示すように、本実施の形態のネットワークシステムは、クライアントPC4011、4012、プリントサーバ4021及び画像形成装置4031、4032を備える。さらに、これらの装置は、LAN4001によって相互に接続されており、LAN4001を介して通信する機能を持つものとする。
このネットワークシステムにおける画像形成装置4031、4032は、コピー機能とプリンタ機能とを併せ持つ。さらに画像形成装置4031、4032は、公衆回線4002を介して、ファクシミリ(FAX)装置4041等に接続されている。すなわち、画像形成装置4031、4032は、原稿の電子化データを、公衆回線4002を介してファクシミリ(FAX)装置4041に送信する機能(FAX機能)を備えている。また、画像形成装置4031、4032は、原稿の電子化データをLAN4001を介してLAN4001に接続される装置へ送信する機能(センド機能)を備えている。
このシステムでプリントの作業を行う場合には、例えば、ユーザがクライアントPC4011、或いは4012を操作して作成した印刷データを、LAN4001を介してプリントサーバ4021に送付する。このプリントサーバ4021は、受信した印刷データを画像形成装置4031、或いは4032に再送する。画像形成装置4031、或いは4032では、受信した印刷データを解釈して画像に変換し、それを紙に印刷(または印字)することで印刷物を生成する。
なお、このネットワークシステムでは、プリントサーバ4021を省略して構成しても良い。その場合には、クライアントPC4011、4012が、直接に画像形成装置4031又は4032に印刷データを送付するよう構成する。
次に、画像形成装置4031、4032について説明する。この画像形成装置4031、4032は、図示しないが、スキャナ部、コントローラ及びプリンタ部を備える。このスキャナ部は、原稿上の画像を露光走査して得られた反射光をCCDに入力することで画像の情報を電気信号に変換する。スキャナ部は、電気信号をR,G,B各色からなる輝度信号に変換し、この輝度信号を画像データとしてコントローラに出力する。コントローラは、画像データをプリンタ部へ送り、プリンタ部を制御して、用紙上に画像を形成する。なお、プリンタ部は、一般に用いる画像形成デバイスとして構成する。プリンタ部の画像形成方式は、感光体ドラムや感光体ベルトを用いた電子写真方式に限られることはない。例えば、微少ノズルアレイからインクを吐出して用紙上に印字するインクジェット方式等でも良い。
次に、画像形成装置4031、4032が備える上述したコントローラについて、図2により詳細に説明する。
図2は、画像形成装置4031、4032のコントローラ4511の構成を示すブロック図である。このコントローラ4511は、原稿画像を入力する画像入力デバイスの一例であるスキャナ部4513やプリンタ部4514と電気的に接続されている。一方、コントローラ4511は、LAN4001や公衆回線4002を介してプリントサーバ4021や外部の装置等と接続されている。これによりコントローラ4511は、画像データやデバイス情報の入出力が可能となっている。
コントローラ4511は、CPU(制御手段)4601を備える。CPU4601は、ROM4603に記憶された制御プログラム等に基づいて接続中の各種デバイスとのアクセスを統括的に制御する。これと共に、CPU4601は、コントローラ内部で行われる各種処理についても統括的に制御する。
システムバス4610にはRAM4602が接続されている。RAM4602は、システムワークメモリとして働き、かつ画像データを一時記憶するためのメモリとしても働く。このRAM4602は、記憶した内容を電源オフ後も保持しておくSRAM及び電源オフ後には記憶した内容が消去されてしまうDRAMによって構成されている。また、ROM4603には、装置のブートプログラム等が格納されている。HDD4604は、ハードディスクドライブであり、システムソフトウェアや画像データを格納可能に構成されている。
このコントローラ4511のシステムバス4610には、操作部I/F4605(インターフェース部)を介して、操作部4512が接続されている。操作部4512は押しボタンなどのハードキーとタッチパネルLCDなどから構成され、ユーザによる操作指示を受付ける。
この操作部I/F4605は、操作部4512に表示するための画像データをシステムバス4610から受取り操作部4512に出力すると共に、操作部4512から入力された情報をシステムバス4610へと出力する。
図2に示すように、NetworkI/F4606は、LAN4001及びシステムバス4610に接続し、情報の入出力を行う。Modem4607は、公衆回線4002及びシステムバス4610に接続しており、情報の入出力を行う。2値画像回転部4608は、送信前の画像データの方向を変換する。2値画像圧縮・伸張部4609は、送信前の画像データの解像度を所定の解像度や相手能力に合わせた解像度に変換する。なお圧縮及び伸張にあたってはJBIG、MMR、MR、MHなどの方式が用いられる。画像バス4630は画像データをやり取りするための伝送路であり、PCIバス又はIEEE1394で構成されている。
また、スキャナ画像処理部4612は、スキャナ部4513からスキャナI/F4611を介して受取った画像データに対して、補正、加工、及び編集を行う。なお、スキャナ画像処理部4612は、受取った画像データがカラー原稿か白黒原稿か、文字原稿か写真原稿かなどを判定する。そして、その判定結果を画像データに付随させる。こうした付随情報を属性データと称する。
圧縮部4613は、画像データを受取り、この画像データを32×32画素のブロック単位に分割する。なお、この32×32画素の画像データをタイルデータと称する。また、原稿(読み取り前の紙媒体)において、このタイルデータに対応する領域をタイル画像と称する。また、タイルデータには、その32×32画素のブロックにおける平均輝度情報やタイル画像の原稿上の座標位置がヘッダ情報として付加されている。
さらに圧縮部4613は、複数のタイルデータからなる画像データを圧縮する。伸張部4616は、複数のタイルデータからなる画像データを伸張した後にラスタ展開してプリンタ画像処理部4615に送る。
プリンタ画像処理部4615は、伸張部4616から送られた画像データを受取り、この画像データに付随させられている属性データを参照しながら画像データに画像処理を施す。画像処理後の画像データは、プリンタI/F4614を介してプリンタ部4514に出力される。
画像変換部4617は、画像データに対して所定の変換処理を施す。この処理部は、以下に示すような処理部により構成される。
画像変換部4617の伸張部4618は、受取った画像データを伸張する。圧縮部4619は、受取った画像データを圧縮する。回転部4620は、受取った画像データを回転する。変倍部4621は、受取った画像データに対し解像度変換処理(例えば600dpiから200dpi)を行う。色空間変換部4622は、受取った画像データの色空間を変換する。この色空間変換部4622は、マトリクス又はテーブルを用いて公知の下地飛ばし処理を行ったり、公知のLOG変換処理(RGB→CMY)を行ったり、公知の出力色補正処理(CMY→CMYK)を行ったりすることができる。
2値多値変換部4623は、受取った2階調の画像データを256階調の画像データに変換する。逆に多値2値変換部4624は、受取った256階調の画像データを誤差拡散処理などの手法により2階調の画像データに変換する。
合成部4627は、受取った2つの画像データを合成し1枚の画像データを生成する。なお、2つの画像データを合成する際には、合成対象の画素同士が持つ輝度値の平均値を合成輝度値とする方法や、輝度レベルで明るい方の画素の輝度値を合成後の画素の輝度値とする方法が適用される。また、暗い方を合成後の画素とする方法の利用も可能である。さらに合成対象の画素同士の論理和演算、論理積演算、排他的論理和演算等で合成後の輝度値を決定する方法なども適用可能である。これらの合成方法は、いずれも周知の手法である。間引き部4626は、受取った画像データの画素を間引くことで解像度変換を行い、1/2,1/4,1/8等の画像データを生成する。移動部4625は、受取った画像データに余白部分をつけたり余白部分を削除したりする。
また、RIP4628は、プリントサーバ4021などから送信されたPDLコードデータを元に生成された中間データを受取り、ビットマップデータ(多値)を生成する。圧縮部4629は、受取った画像データを圧縮する。
次に、スキャナ画像処理部4612の詳細を、図3により説明する。図3は、スキャナ画像処理部4612内のモジュールの概略構成を示すブロック図である。
スキャナ画像処理部4612は、RGB各8bitの輝度信号からなる画像データを受取る。この輝度信号は、マスキング処理部4801によりCCDのフィルタ色に依存しない標準的な輝度信号に変換される。フィルタ処理部4802は、受取った画像データの空間周波数を任意に補正する。このフィルタ処理部4802は、受取った画像データに対して、例えば7×7のマトリクスを用いた演算処理を行う。
この画像形成装置4031、4032では、ユーザが操作部4512を操作することにより、コピーモードとして文字モード、写真モード又は文字/写真モードを選択することができる。ここでユーザにより文字モードが選択された場合には、フィルタ処理部4802が文字用のフィルタを画像データ全体にかける。また、写真モードが選択された場合には、フィルタ処理部4802が写真用のフィルタを画像データ全体にかける。また、文字/写真モードが選択された場合には、文字写真判定信号(属性データの一部)に応じて画素ごとに適宜にフィルタを切り替える。すなわち、画素ごとに写真用のフィルタをかけるか文字用のフィルタをかけるかが決定される。
なお、写真用のフィルタには、高周波成分のみ平滑化が行われるような係数が設定されている。これは、画像のざらつきを目立たせないためである。また、文字用のフィルタには、強めのエッジ強調を行うような係数が設定されている。これは、文字のシャープさを出すためである。
ヒストグラム生成部4803は、受取った画像データを構成する各画素の輝度データをサンプリングする。より詳細に説明すると、ヒストグラム生成部4803は、主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内の輝度データを、主走査方向、副走査方向に一定のピッチでサンプリングする。そして、ヒストグラム生成部4803は、サンプリング結果を元にヒストグラムデータを生成する。生成されたヒストグラムデータは、下地飛ばし処理を行う際に下地レベルを推測するために用いられる。入力側ガンマ補正部4804は、テーブル等を利用して非線形特性を持つ輝度データに変換する。
カラーモノクロ判定部4805は、受取った画像データを構成する各画素が有彩色であるか無彩色であるかを判定し、その判定結果をカラーモノクロ判定信号(属性データの一部)として画像データに付随させる。
文字写真判定部4806は、画像データを構成する各画素が文字を構成する画素なのか、網点を構成する画素なのか、網点中の文字を構成する画素なのか、ベタ画像を構成する画素なのかを、判定する。この文字写真判定部4806による判定は、各画素の画素値と各画素の周辺画素の画素値とに基づいて行う。なお、この判定でどれにもあてはまらない画素は、白領域を構成している画素である。この文字写真判定部4806の判定結果は、文字写真判定信号(属性データの一部)として画像データに付随させる。
復号部4808は、マスキング処理部4801から出力された画像データ内に符合画像データが存在する場合に、その存在を検知する。そして、復号部4808は、検知された符合画像データを復号化して情報を取り出す。
次に、プリンタ画像処理部4615の詳細について図4により説明する。図4は、プリンタ画像処理部4615において行われる処理の流れを示す説明図である。
このプリンタ画像処理部4615の下地飛ばし処理部4901は、スキャナ画像処理部312で生成されたヒストグラムを用いて画像データの下地色を飛ばす(除去する)処理を行う。モノクロ生成部4902は、カラーデータをモノクロデータに変換する。Log変換部4903は、輝度濃度変換を行う。このLog変換部4903は、例えば、RGB入力された画像データを、CMYの画像データに変換する。出力色補正部4904は、出力色補正を行う。例えば出力色補正部4904は、CMY入力された画像データを、テーブルやマトリックスを用いてCMYKの画像データに変換する。出力側ガンマ補正部4905は、この出力側ガンマ補正部4905に入力される信号値と、複写出力後の反射濃度値とが比例するように補正を行う。符合画像合成部4907は、後述するメタ情報画像生成部により生成された背景画像データと、(原稿)画像データとを合成する。中間調補正部4906は、出力するプリンタ部の階調数に合わせて中間調処理を行う。例えば、受取った高階調の画像データに対し2値化や32値化等を行う。
なお、スキャナ画像処理部4612やプリンタ画像処理部4615における各処理部では、受取った画像データに各処理を施さずに出力させることも可能に構成されている。このように、ある処理部において処理を施さずにデータを通過させることを、以下では「処理部をスルーさせる」と表現することにする。
なお、後に説明するコピー禁止等の制限事項が埋め込まれている原稿を読み取って電子化されたデータから埋め込まれた制限事項の情報を欠落させるような画像処理としては、次のような処理がある。
例えば、第1に、フィルタ処理部4802で、小ドットを読み出すことが困難となる程、画像を平滑化するようなフィルタリング処理をする場合。
第2に、下地飛ばし処理部4901(図4に図示)で、小ドットが消失してしまう程、下地飛ばし処理を行う場合。
第3に、小ドットが消失してしまう程、倍率の変更処理(特に縮小する変倍処理)又は解像度変換処理を行う場合。
第4に、小ドットの色を変更してしまうような色変換処理。
次に、このネットワークシステムにおいて、情報漏洩対策として、コピー禁止あるいは印刷出力を追跡するための制限事項の情報を埋め込む指示を行ったときの処理と、コピーを禁止する本システムでの動作について説明する。なお以下、クライアントPC4011を例にあげて説明するが、クライアントPC4012に当てはめても構わない。また、画像形成装置4031を例にあげて説明するが、画像形成装置4032に当てはめても構わない。
例えばユーザが、クライアントPC4011を操作する際に、印刷出力にコピー禁止あるいは印刷出力を追跡するための制限事項の情報を埋め込む旨を指示したとする。
すると、画像形成装置4031は、生成する印刷出力に、背景画像としてコピー禁止あるいは印刷出力を追跡するための制限事項の情報を埋め込んで印刷出力を生成する。なお、制限事項の情報を、LVBC(Low Visibility Barcode)(詳細は後述する)を利用して埋め込んだ背景画像を含む印刷出力は、図5に例示するようなものとなる。
ユーザが、図5に例示するコピー禁止情報を含んだ原稿を画像形成装置4031でコピーしようとしても、画像形成装置4031は、原稿にコピー禁止情報が含まれていることを検知し、コピー動作を中止する。
次に、本システムで、ユーザが、クライアントPC4011を操作して、コピー制御情報又は追跡情報である制限事項の情報を埋め込む指示を行うときの具体的操作について図7により説明する。
図7は、クライアントPC4011あるいは4012におけるプリンタドライバの印刷セキュリティ設定ダイアログの画面を例示する説明図である。ユーザは、このダイアログ上を操作することにより、印刷出力に埋め込みたいセキュリティ設定についての設定操作を行う。
図7に示すように、この印刷セキュリティ設定ダイアログ4101は、2つの部分に分けられており、上半分がコピー禁止の設定部分、下半分が追跡情報の設定を行う部分とされている。
まず、上半分のコピー禁止の設定を行う部分について説明する。この設定ダイアログ4101では、ユーザが、ラジオボタン4102を操作することにより、コピーを許可する設定、常にコピーを禁止する設定又はパスワード入力によりコピー禁止を解除する設定の中から1つを選択する。ここで、3つ目の選択肢である「パスワード入力によりコピー禁止を解除する」が選択された場合には、パスワード入力フィールド4103が入力可能な状態となる。これによりユーザは、パスワード入力フィールド4103に、コピー禁止を解除するためのパスワードを入力することができる。
次に、印刷セキュリティ設定ダイアログ4101の下半分である追跡情報の設定を行う部分について説明する。図7に示す印刷セキュリティ設定ダイアログ4101には、2つのチェックボックス4104及び4105が配置されている。ユーザは、チェックボックスをチェックすることにより、それぞれユーザ名あるいは時刻情報の埋め込みを指示できる。
上述のようにしてユーザが指示した各種の設定情報は、ユーザがOKボタン4106を押すことによって、クライアントPC4011の図示しないジョブ制限情報保持手段に格納される。なお、上述したコピー制御情報又は追跡情報である制限事項の情報を埋め込む処理は、画像形成装置4031又は4032側で行うようにしても良い。すなわち、画像形成装置4031で紙の原稿をコピーする際に、背景にコピー禁止情報が含まれた状態で印刷出力がなされるように画像形成装置4031を構成しても良い。
次に、画像形成装置4031におけるコピー禁止動作について説明する。なお、この画像形成装置4031には、コピー動作を中止させるための条件(日時やユーザ認証情報)等が、予め設定されて、HDD4604に保持されているものとする。
画像形成装置4031では、ユーザが、コピー禁止情報を含む原稿をスキャナ部に載せて、操作部4512(図2に図示)を操作してコピー開始を指示すると、コピー動作が開始される。画像形成装置4031のコントローラ4511は、スキャナ部4513、スキャナI/F4611、スキャナ画像処理部4612及び圧縮部4613を制御して原稿画像を読み取って、その画像データを画像変換部4617に送るともに、画像解析部にも送る。なお、本実施形態の画像処理装置では、画像解析部(埋め込み情報解析部)の処理をCPU4601が実行する。CPU4601が画像解析を行うために実行するプログラムはHDD4604、或いはROM4603に格納されているものとする。
画像形成装置4031は、画像データ入力手段として、スキャナ部を有する画像読み取り部を備える。なお、画像形成装置4031の画像データ入力手段は、原稿から読み取ったコピー禁止あるいは印刷出力を追跡するための制限事項の情報を含む画像データを、外部機器又は記憶媒体から入力するものであっても良い。
この画像解析部は、復号部4808を制御して、画像読み取り部から受け取った画像データに含まれるコピー禁止情報あるいは印刷出力を追跡するための制限事項の情報を取り出す。画像解析部は、取り出したコピー禁止情報をジョブ制御判断手段に送る。本実施形態において、ジョブ制御判断手段の処理はCPU4601が実行するものとし、CPU4601がジョブ制御判断手段の処理を行うためのプログラムはHDD4604、或いはROM4603に格納されているものとする。
ジョブ制御判断手段は、画像解析部から受け取ったコピー禁止情報と、HDD4604に記憶されているコピー禁止条件とを比較して、コピー動作を中止すべきかどうかを判断する。ここで、ジョブ制御判断手段がコピー動作を中止すべきであると判断した場合には、ジョブ制御判断手段は、コピー動作を中止するよう画像形成装置4031を制御する。さらにジョブ制御判断手段は、操作部I/F4605を制御して、図8あるいは図9に示すメッセージを操作部4512に表示する。プリンタ部4514は、プリンタ画像処理部4615から受け取った画像データを紙に印刷することにより印刷出力(プリント)を生成する。このときにプリンタ部4514がジョブ制御判断手段から動作を中止する命令を受け取った場合には、プリンタ部4514は、ジョブの途中であっても印刷動作を中止する。
ここで、図8に示すメッセージを操作画面に表示する場合は、前述した3つのコピー禁止設定のうち「常にコピーを禁止する」旨のコピー禁止情報が原稿に埋め込まれていた場合である。この場合には、画像形成装置4031の操作画面に、コピー動作を中止する旨のメッセージダイアログが表示される。
また、「パスワード入力によりコピー禁止を解除する」旨のコピー禁止情報が原稿に埋め込まれていた場合には、図9に示すメッセージを操作部4512の画面に表示する。この場合に、画像形成装置4031は、コピー動作を一時停止し、操作画面に、パスワード入力を促すためのダイアログを表示する。
そこで、ユーザは、ソフトキーボードあるいは不図示のICカードなどを用いてパスワードを画像形成装置4031に入力する。すると、画像形成装置4031は、原稿の背景画像に含まれていたパスワードと、入力されたパスワードとが一致しているかどうかを判断する。一致している場合には、画像形成装置4031が、ダイアログを閉じてコピー動作を継続する。一方パスワード入力が失敗した場合には、コピー動作を中止する。
次に、クライアントPC4011と、サーバPC4021とについて説明する。これらは、図示しないが、ROM又はハードディスク等の大規模記憶装置に記憶されたソフトウェアを実行するCPU(制御手段)を備える。CPUは、システムバスに接続された各デバイスを総括的に制御する。
クライアントPC4011又はサーバPC4021は、ユーザが操作して指令を入力するためのキーボード等の入力装置と、液晶ディスプレイ等で構成された表示モジュールを備える。
クライアントPC4011とサーバPC4021とは、それぞれネットワークインタフェースカード(NIC)で、LANを介して、他の機器と双方向にデータをやりとりする。
次に、コピー禁止情報又は追跡情報を含む印刷出力の生成動作について、印刷出力の背景画像をクライアントPC側で生成するやり方と、画像形成装置側で生成するやり方とに分けて説明する。
まず、印刷出力の背景画像をクライアントPC側で生成するやり方について説明する。なお、以下の説明において、判断と実行は、クライアントPC4011のCPUが行うものとして説明するがクライアントPC4012置き換えてもよい。
図示しないが、クライアントPC4011において、ユーザが印刷指示操作を行うことにより、印刷データ生成手段が起動される。印刷データ生成手段の処理はクライアントPC4011の不図示のCPUが実行するものとする。この印刷データ生成手段は、ユーザが印刷を指示したドキュメントを、画像形成装置への描画命令の集まりに変換する。より具体的には、例えばPDL(Page Description Language)を生成することによって実現される。印刷データ生成手段は、生成した印刷データを画像合成手段に送る。
一方、ジョブ制限情報保持手段は、ユーザが、前述したセキュリティ設定ダイアログを操作した結果として保持しているジョブ制限情報を、メタ情報画像生成手段に送る。
メタ情報画像生成手段では、ジョブ制限情報保持手段から受け取ったジョブ制限情報をもとに、コピー禁止情報や追跡情報を含む背景画像を生成する。この背景画像の作成方法としては、例えばLVBC(Low Visibility Barcode)を用いる方法がある。LVBCについては、後ほど説明する。メタ情報画像生成手段は、生成した背景画像を画像合成手段に送る。本実施形態において、ジョブ制限情報保持手段の構成は、クライアントPCの不図示のHDDによって実現されるものとする。
画像合成手段は、印刷データ生成手段から受け取った印刷データおよびメタ情報画像生成手段から受け取った背景画像を合成して、印刷データのそれぞれのページに背景画像が入るように、画像形成装置への命令を作成する。より具体的には、例えば背景画像をオーバレイフォーム情報としてPDLに埋め込む等の手段がある。画像合成手段は、合成した印刷データをデータ送信手段に送る。データ送信手段は、ネットワークインタフェースを制御して、合成された印刷データをプリントサーバ又は画像形成装置4031に送る。本実施形態において、メタ情報画像生成手段の処理、画像合成手段による処理、データ送信手段による処理は、クライアントPC4011の不図示のCPUによる御の下に実行するものとする。
次に、画像形成装置側の動きについて説明する。画像形成装置4031のネットワークインタフェース4606は、LAN4001からのデータを待ち受けている。CPU4601は、ネットワークインタフェース4606が、LAN4001上の他のノードからデータが送付されたことを検知して、そのデータの種別によって適切なサブシステムに受信したデータを受け渡す。データ種別の識別は、例えば通信方式がTCP/IPである場合には、ポート番号によって識別することが一般的である。ここでは、受信したデータは画像形成装置への印字命令を含む印刷データである。データ受信部は、受信したデータが印刷データであることを識別した上で、データ解析部にそのデータを受け渡すものとする。本実施形態では、データ解析部の処理はCPU4601が実行するものとする。
データ解析部は、データ受信部から受け取ったデータの中から描画命令(PDL)を取り出し、それを解釈して画像形成装置が内部的に使用する中間的なデータを生成する。データ解析部は、生成した中間データを、順次、RIP4628に送る。
RIP4628は、データ解析部から受け取った中間データをビットマップ画像に変換する。圧縮部4629は、そのビットマップ画像を圧縮した後、順次、伸張部4616に送る。プリンタ部4514は、伸張部4616、プリンタ画像処理部4615、プリンタI/F4614を経由して受け取ったビットマップ画像に基づいて紙に印字する。
次に、コピー禁止情報又は追跡情報を含む印刷出力の生成動作について、印刷出力の背景画像を画像形成装置側で生成するやり方について説明する。
この場合には、図示しないが、クライアントPC側において、ユーザが印刷指示操作を行うことにより、印刷データ生成部が起動される。印刷データ生成部の動作は、上述した印刷データ生成部と同様であるので、その説明を省略する。この印刷データ生成部は、生成した印刷データをデータ送信部に送る。一方、ジョブ制限情報保持手段は、ユーザが前述したセキュリティ設定ダイアログを操作した結果として保持しているジョブ制限情報を、データ送信手段に送る。
データ送信部5102は、印刷データ生成手段から受け取った印刷データと、ジョブ制限情報保持手段から受け取ったジョブ制限情報とを一つにまとめて画像形成装置4031への印刷指示データとして構成する。このように構成された印刷指示データは、データ送信手段がネットワークインタフェースを介して、プリントサーバ4021又は画像形成装置4031に送る。
次に、このときの画像形成装置4031側の動きについて説明する。この画像形成装置4031におけるデータ受信部の動作は、前述した印刷出力の背景画像をクライアントPC側で生成するやり方におけるデータ受信部と同様であるので、その説明を省略する。
データ受信部で生成されたデータは、データ解析部へ送られる。データ解析部は、データ受信部から受け取ったデータの中からジョブ制限情報と描画命令(PDL)とをそれぞれ取り出す。データ解析部は、取り出したジョブ制限情報を、メタ情報画像生成部に送る。本実施形態において、メタ情報画像生成部の処理は、RIP4628が行うものとする。一方、データ解析部が取り出した描画命令を処理する動作については、前述した印刷出力の背景画像をクライアントPC側で生成するやり方におけるデータ解析部と同様であるので、その説明を省略する。ただし、生成したビットマップについては、RIP4628が、符号画像合成部4907に送る。
メタ情報画像生成部は、データ解析部から受け取ったジョブ制限情報を解釈し、画像に情報を埋め込む例えばLVBCなどの技術を用いることによって、そのジョブ制限情報に応じた背景画像を生成する。メタ情報画像生成部は、生成した背景画像を符号画像合成部4907に送る。
符号画像合成部4907は、画像生成部から受け取ったビットマップと、メタ情報画像生成部から受け取った背景画像を合成し、合成した結果のビットマップを印字部に送る。印字部は、伸長部、プリンタ画像処理部、プリンタI/F及びプリンタ部を制御して、画像生成部から受け取ったビットマップ画像を紙に印字する。
次に、このネットワークシステムの画像形成装置において、制限事項の埋め込み手段に用いて好適な、LVBC(Low Visibility Barcodes:低可視バーコード)について説明する。
図5は、LVBCが埋め込まれた原稿の一例を示すイメージ図である。この図5で、3701はシート全体を示し、3702は3701のシートの一部を拡大して示す。このシートの拡大部分3702に示すように、原稿には、本来描画されるイメージの他に、一見ランダムに埋め込まれた多数のドット(例えば3703)が形成されている。LVBCは、このドットを利用して、付加すべき情報を埋め込むものである。本実施形態では、複写禁止を示す情報や、追跡情報が埋め込まれるものとする。この追跡情報は、原稿を作成したユーザの個人名や組織名、画像形成を行なった装置の機体番号やIP(Internet Protocol)アドレス、MAC(Media Access Control)アドレスである。さらに追跡情報は、設置場所、印刷時期を特定できる印刷日時、印刷時刻といった情報であっても良い。
次にLVBCの埋め込み方法について説明する。このLVBCでは、シートに対して印刷される画像の他に付加情報を埋め込むため、グリッド(格子)と呼ばれるドットパターン印刷をする。
図6は、付加情報として、010111110011bというバイナリデータを埋め込む例を示す説明図である。図6で、縦横の線3901は、グリッドの位置を示す仮想的なガイドラインを示す。このようにグリッドの最短距離を線で結ぶと格子模様が出現する。3902は中心地(中心位置)を示し、ここにはドットを置かない。実際には、例えば3903のように中心地3902から離れた位置にドットを変位(偏在)させて配置する。
バイナリデータ010111110011bは、3ビットずつ分解され、010,111,110,011に分けられる。さらに各3ビットに対してデシマル変換を行い、2,7,6,3に変換される。図6に向かって下側に示すように、グリッドを構成する各ドットは数値に対して上下左右の8方向にいずれかに変位させることによって情報を表す。この場合、2,7,6,3の情報は、それぞれドットを右上、右下、下、左に変位させることによってを埋め込む。このような処理の繰り返しによって、LVBCでは、2000バイト程度の付加情報をシートに埋め込むことが可能である。さらに付加情報を表現するドットをシートに対して何度も埋め込むことによって冗長性を増し、画像イメージとの誤認識やシートに対する汚れ、しわ、部分的破壊に対して信頼性を向上することができる。
なお、LVBCを解析するに当たっては、グリッドの位置を正確に調査する必要があるので、ドットの変位が8方向に対して等確率に出現することが望ましい。しかし埋め込みデータには0などの特定のデータを多く埋め込みたい場合があり、そのままでは等確率にならない可能性がある。そこで、本実施の形態では埋め込み情報に対して可逆性を有したスクランブル処理(例えば共通鍵暗号処理)を施し、ドットの変位をランダム化して埋め込んでいる。
次に、LVBCの解析方法(例えば、画像解析部で解析する方法)について説明する。図示しないが、LVBCの解析に当たり、ドット検知部は、付加情報が埋め込まれた画像イメージ(元画像と付加情報が混在している)から任意のドットを抽出して座標に変換する。次に、ドット解析部は、ドット検知部が検知したドットからハーフトーンを構成するドットのような不要なドットを除去する。このドット解析部が解析した出力結果である複数のドットの絶対座標のリストは、絶対座標リスト記憶部に格納される。
次に、ドット変換部は、絶対座標リスト記憶部が記憶している絶対座標のリストから回転角、グリッド間隔を検出してグリッド位置からの相対座標に変換する。このドット変換部が解析した複数のドットのグリッド位置からの相対座標は、相対座標リスト記憶部に記録される。
次に、本実施の形態に係わる画像処理装置を備えたネットワークシステムにおいて、画像データを装置内に格納する際に、セキュリティ用の制限事項等のコード化情報を保持させるための処理の手順について、図10により説明する。
図10は、画像データにコード化情報を保持させるための処理の手順を示すフローチャートである。画像形成装置4031のCPU4601による処理に基づいて本フローチャートが実行される。
この画像データにコード化情報を保持させるための入力原稿処理では、原稿の入力操作があるまで待機する(ステップS1001でNO)。
そして原稿の入力操作により、スキャナ部4513で読み取られた原稿の画像を画像解析部及び画像変換部4617へ出力する(ステップS1001でYES)。
次に、画像解析部は、読み取った原稿に埋め込み情報が有るか否かを判別する(ステップS1002)。ここで、埋め込み情報解析部で、読み取った原稿に埋め込み情報が有ると判別した場合には(ステップS1002でYES)、記憶部(HDD4604)に情報の埋め込み形式を判別する。さらに、予めHDD4604に記憶されている、対応するセキュリティルールを検索する(ステップS1003)。セキュリティルールには、原稿に埋め込まれた情報の埋め込み形式によって、禁止、制限される画像処理の種類、或いは許可される画像処理の種類が定められている。本実施形態において、セキュリティルールの例としては、例えば以下のように設定されているものとする。埋め込みの種類がLVBCであれば、90%〜110%の間の変倍率での変倍処理は許可するが、それ以外の変倍率での変倍は禁止する。また、下地とばし処理も禁止、ローパスフィルタによるフィルタ処理も禁止する。また、埋め込みの種類がQRコードであれば、色変換処理は禁止、50%以下の変倍は禁止とする。上述の例以外にも、他の埋め込み手法に対応して様々なセキュリティルールが規定されている。このセキュリティルールによって、原稿に埋め込まれた情報が欠落してしまうことを防止することができる。ステップS1003においてCPU4601は、特定した埋め込みの形式から、どのような種類の画像処理が禁止されるのか、或いはどのような種類の画像処理が許可されるのかを認識することが可能になる。
そして、原稿に埋め込まれていた情報から複写・保存・送信条件等の処理内容(例えば、「複写禁止」や「送信処理は禁止」といった情報)を抽出する(ステップS1004)。
次に、画像形成装置で現在実行しているジョブと、S1004で抽出した複写・保存・送信条件等を比較し、現在実行しているジョブの実行が禁止(例えば複写禁止など)されていないか判別する(ステップS1005)。
ジョブの実行が許可されている場合(ステップS1005でYES)は、ユーザが操作部4512で設定した動作指示の内容を検出する(ステップS1006)。
次に、検出したユーザの動作指示の内容が、機器内に保存する処理かどうかを判定する(ステップS1007)。この判定の結果、保存処理であると判別した場合(ステップS1007でYES)には、画像データにおける原稿の画像部分の情報である原稿画像情報と、埋め込み情報とを紐付けしてHDD4604に保存する処理を行う。この処理は、スキャン部で読み取られた画像データと、スキャン部で読み取って埋め込み情報解析部(画像解析部)で抽出した解析情報とを、紐付けして機器内のHDD4604に保存する処理である(ステップS1008)。
次に、ステップS1002で判別の結果、埋め込み情報解析部で、読み取った原稿に埋め込み情報が無いと判別した場合(ステップS1002でNO)には、通常の入力原稿に対する画像処理を実行する(ステップS1020)。その後、本処理を終了する。
次に、ステップS1005で判別の結果、現在実行しているジョブが禁止されている場合(ステップS1005でNO)には、ジョブをキャンセル(ステップS1030)して、本処理を終了する。 次に、ステップS1007で判別の結果、機器内に保存する処理でない場合(ステップS1007でNO)には、ジョブをキャンセル(ステップS1009)して、本処理を終了する。
図10のフローチャートによれば、埋め込み情報の内容を認識して、禁止されているジョブをキャンセルすることでジョブの実行対象となる画像のセキュリティを保つことが可能になる。また、読み取った画像を画像形成装置の記憶装置内に保存する場合には、保存する画像データと埋め込み情報の内容とを紐付けて保存する。このようにした場合には、後に画像データを再利用(印刷出力や送信処理)する場合にも埋め込んだ情報を引き続き画像データに保持させることが可能になる。
次に、本実施の形態に関わる画像処理装置が、格納している埋め込み情報入りの画像を原稿画像情報と紐付けした画像データに基づいてジョブを実行する手順について、図11により説明する。
図11は、画像情報にセキュリティ用の制限事項等のコード化情報を紐付けした画像データに基づいてジョブを実行する手順を例示するフローチャートである。画像形成装置4031のCPU4601による処理に基づいて本フローチャートが実行される。
まず、ユーザが画像形成装置4031に対してジョブ実行の指令を入力を受け付けるまで待機する(ステップS3001でNO)。ユーザが画像形成装置4031に対して操作部4512やクライアントPC4011からジョブ実行の指令を受け付けると、処理動作がスタートする(ステップS3001でYES)。
次に、ユーザがジョブの実行対象とする画像データを指定する指令を入力すると、画像形成装置のコントローラ4511は、HDD4604に保存されている画像の中から指定された画像データを特定する(ステップS3002)。
次に、コントローラ4511は、選択された画像情報に埋め込み情報として制限情報が紐つけされているかどうかを判別する(ステップS3003)。そして、制限情報が存在すると判別した場合(ステップS3003でYES)には、ステップS3004に進み、ジョブが実行であるか否かを判定する。ステップS3004での判定は、埋め込み情報である制限情報がステップS3001で受け付けたジョブの実行を制限しているか否かに基づいて行われる。制限されていないジョブであればステップS3005へ進む。一方、制限されているジョブであればステップS3012へ進みジョブをキャンセルして本フローチャートを終了する。
ステップS3005では、ユーザが実行を指定したジョブで用いられる画像データの形式を検出する。例えば、センド機能を用いるジョブの指示であれば、ユーザにより設定された画像データの形式によって特定される(例えばPDFであったり、TIFFであったりする)。また、ユーザが実行を指示したジョブがコピーであれば、画像データそのものは出力しないが、ビットマップ形式に変換した後に印刷出力されるので、ビットマップ形式として出力するものとみなす。
次に、ステップS3005で特定された画像データの形式が埋め込み情報を属性として付加できるタイプであるかどうかを判別する(ステップS3006)。例えば、PDFやTIFFのように、画像データの他に属性情報を付加できるタイプの形式であれば、埋め込み情報である制限情報を画像として埋め込まずに画像データの属性情報として付加することができる。このような形式の画像データであればステップS3006はYesと判定する。一方、ビットマップ画像やJBIGのように属性情報を付加できない場合にはステップS3006の判定はNoとし、ステップS3010へ進む。
ここで、セキュリティポリシーを埋め込めるタイプの画像データ形式であると判別した場合(ステップS3006でYES)には、画像データに埋め込み情報である制限情報を引継ぐように制限事項の情報を属性情報として付加する(ステップS3007)。
例えば、コントローラ4511は、画像データを、予め用意された単数又は複数種類の画像フォーマットの中から所要の画像フォーマットに変換する変換手段を備える。さらに、コントローラ4511は、ユーザの指定に従って、変換手段により、セキュリティポリシーを埋め込めるタイプの送信データの形式に対応した所要の画像フォーマットに変換可能に構成する。これと共に、コントローラ4511は、所要の画像フォーマット(画像データの属性情報として保持可能である種類の画像フォーマット)に、制限事項の情報を、画像以外の属性情報として保持させる機能を備える。
このように構成されたコントローラ4511は、前述した(ステップS3007)において、制限情報を埋め込めるタイプの画像データに、制限事項の情報を、画像以外の属性情報として保持させる。
次に、コントローラ4511は、制限事項の情報が付加された画像データに対する画像処理を制限しないようにする。そして、画像処理装置のコントローラ4511は、必要に応じて画像データに画像処理を施してから、この制限事項の情報が付加された画像データに対してジョブを実行し(ステップS3008)、本処理を終了する。
次に、ステップS3003で判別の結果、制限情報が紐付けられていないと判定した場合(ステップS3003でNO)には、指示されたジョブを実行し通常のデータ送信処理を行い(ステップS3008)、本処理を終了する。
次に、ステップS3006で判定の結果、送信データの形式がセキュリティポリシーを埋め込めるタイプでないと判別された場合には(ステップS3006でNO)、ステップS3010へ進む。
ステップS3010では、セキュリティルールに基づいて画像処理を制限する。ここで、セキュリティルールは、図10のフローチャートでのステップS1003で決定したセキュリティルールである。そしてステップS3011では、ユーザにより実行を指示されたジョブが、ステップS3010で制限された画像処理を実行しなくても実行可能なジョブであるか否かを判定する。実行可能であれば(ステップS3011でYes)、ステップS3008に進んでジョブを実行する。ここでは、ステップS3010で制限された画像処理の範囲内でジョブを実行しているので、画像データに埋め込まれた制限情報が欠落することなくジョブを実行することができる。例えば実行したジョブが画像を送信するジョブであれば、送信した画像データには制限情報が欠落されること無く埋め込まれていることになる。また、実行したジョブが印刷ジョブであれば、印刷出力された画像には制限情報が欠落されること無く埋め込まれている。よって、印刷出力された画像をスキャナで読み取った場合でも、埋め込まれた制限情報を読み出すことが可能になる。
一方、ステップS3010で制限された画像処理を実行しないことにはユーザによって指示されたジョブを正常に実行できないと判定した場合(ステップS3011でNo)、当該ジョブをキャンセルして本フローチャートを終了する。
図11のフローチャートによれば、制限情報が紐付けられている画像データに対してジョブを実行する場合には、ジョブの実行によって制限情報が欠落しないようにすることができる。また、制限情報が欠落させずにジョブを実行させることができない場合にはそのジョブをキャンセルする。これにより、制限情報が欠落した画像データ、或いは画像を出力してしまうことを防止することができる。
なお、画像処理装置から外部へ原稿の電子化データを出力する場合とは、画像処理装置から外部の記録媒体又は記憶媒体(USBメモリ等)へ原稿の電子化データを出力する場合を含むものとする。
また、本発明では、画像処理装置が、コピー禁止等の制限事項が埋め込まれている原稿を読み取って電子化された画像データを格納する。画像処理装置は、画像データにコピー禁止等の制限事項が埋め込まれているか否かを判別する。そして、格納した画像データにコピー禁止等の制限事項が埋め込まれていると判別した場合には、画像処理を全て制限して制限事項が埋め込まれた状態を維持して画像データを出力するだけの構成としても良い。
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において適宜変更可能である。
また、本発明の目的は、以下の処理を実行することによって達成することができる。すなわち、上述した実施の形態の機能を実現するソフトウェア(制御プログラム)のプログラムコードを記録した記憶媒体を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して処理を実行することによって達成できる。
この場合には、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータで読み取り可能な記憶媒体は本発明を構成することになる。加えて、本発明では、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されるように構成しても良い。さらに、本発明では、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるように構成する。そして、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行うように構成しても良い。なお、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードは、ネットワークを介してダウンロードしてもよい。
本発明の実施の形態に係わる画像処理装置を備えたネットワークシステムの全体的な概略構成の説明図である。 図1に示す画像形成装置のコントローラの構成を示すブロック図である。 図2に示すスキャナ画像処理部内のモジュールの概略構成を示すブロック図である。 図2に示すプリンタ画像処理部において行われる処理の流れを示す説明図である。 LVBCが埋め込まれた原稿の一例を示すイメージ図である。 付加情報として、010111110011bというバイナリデータを埋め込む例を示す説明図である。 クライアントPCにおけるプリンタドライバの印刷セキュリティ設定ダイアログの画面を例示する説明図である。 画像形成装置の操作画面に表示されるコピー動作を中止する旨のメッセージダイアログの画面を例示する説明図である。 画像形成装置の操作画面に表示されるコピー動作を中断し、パスワード入力を促すためのダイアログの画面を例示する説明図である。 画像データにコード化情報を保持させるための処理の手順を示すフローチャートである。 画像情報にセキュリティ用の制限事項等のコード化情報を紐付けした画像データに基づくジョブの実行手順を例示するフローチャートである。
符号の説明
4002 インターネット(公衆回線)
4011、4012 クライアントPC
4021 プリントサーバ
4031、4032 画像形成装置
4041 ファクシミリ(FAX)装置
4511 コントローラ
4512 操作部
4513 スキャナ部
4514 プリンタ部
4601 CPU
4603 ROM
4612 スキャナ画像処理部
4617 画像変換部

Claims (12)

  1. 画像データを入力する画像入力手段と、
    前記画像データに対して画像処理を行う画像処理手段と、
    原稿の画像に埋め込まれた埋め込み情報を検出する検出手段と、
    前記検出手段が前記画像データから埋め込み情報を検出した場合に、前記画像処理手段が前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記制御手段は、前記検出手段が前記画像データから埋め込み情報を検出しなかった場合には前記画像処理手段による画像処理の実行を制限しないよう制御することを特徴とする、請求項1に記載の画像処理装置。
  3. 更に、前記画像データの画像フォーマットを、複数種類の画像フォーマットうちのいずれかに変換する変換手段を備え、
    前記制御手段は、前記変換手段が変換する画像データのフォーマットが、前記検出手段が検出した埋め込み情報を前記画像データの属性情報として保持可能である種類の画像フォーマットである場合、前記画像処理手段が前記埋め込み情報を欠落させる画像処理を実行することを許可することを特徴とすることを特徴とする、請求項1または請求項2のいずれか1項に記載の画像処理装置。
  4. 前記画像処理手段は複数種類の画像処理を実行することが可能であり、
    更に、前記画像処理手段が実行可能な複数種類の画像処理のうち、前記埋め込み情報を欠落させる画像処理の種類を示す情報を記憶する記憶手段を備え、
    前記制御手段は前記記憶手段を参照して前記埋め込み情報を欠落させる画像処理の種類を特定し、当該特定した種類の画像処理の実行を制限するよう制御することを特徴とする、請求項1または請求項2のいずれか1項に記載の画像処理装置。
  5. 更に、前記検出手段が検出した埋め込み情報の埋め込み形式を判別する判別手段を備え、
    前記記憶手段は複数種類の埋め込み形式のそれぞれに対応して前記埋め込み情報を欠落させる画像処理の種類を示す情報を記憶し、
    前記制御手段は、前記記憶手段を参照して、前記判別手段が判別した埋め込み形式に対応した、前記埋め込み情報を欠落させる画像処理の種類を特定することを特徴とする、請求項4に記載の画像処理装置。
  6. ジョブの実行の指示を受け付ける受付手段と、
    更に、前記画像処理手段が画像処理を実行した画像データを用いてジョブを実行するジョブ実行手段を備え、
    前記検出手段が検出した埋め込み情報が、前記受付手段が実行の指示を受け付けたジョブの実行を制限することを示す情報である場合、前記制御手段は前記ジョブ実行手段が前記画像データを用いたジョブを実行することを制限することを特徴とする、請求項1乃至請求項5のいずれか1項に記載の画像処理装置。
  7. 制限手段が前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限することによって前記受付手段が受け付けたジョブを正常に実行できない場合、前記ジョブ実行手段は前記ジョブの実行をキャンセルすることを特徴とする、請求項6に記載の画像処理装置。
  8. 前記ジョブ実行手段が実行するジョブは、前記画像データを外部の装置へ送信するジョブであることを特徴とする、請求項6または請求項7のいずれか1項に記載の画像処理装置。
  9. 前記ジョブ実行手段が実行するジョブは、前記画像データに基づき印刷出力するジョブであることを特徴とする、請求項6または請求項7のいずれか1項に記載の画像処理装置。
  10. 前記画像データから埋め込み情報を欠落させる画像処理は、解像度変換処理、変倍処理、フィルタ処理、下地とばし処理、色変換処理のいずれかを含むことを特徴とする、請求項1乃至請求項9のいずれか1項に記載の画像処理装置。
  11. 画像処理装置における画像処理方法であって、
    画像データを入力する画像入力工程と、
    前記画像データに対して画像処理を行う画像処理工程と、
    原稿の画像に埋め込まれた埋め込み情報を検出する検出工程と、
    前記検出工程で前記画像データから埋め込み情報を検出した場合に、前記画像処理工程で前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御工程と、
    を備えることを特徴とする画像処理方法。
  12. 画像処理装置における画像処理方法を実行させるための制御プログラムであって、前記画像処理方法は、
    画像データを入力する画像入力工程と、
    前記画像データに対して画像処理を行う画像処理工程と、
    原稿の画像に埋め込まれた埋め込み情報を検出する検出工程と、
    前記検出工程で前記画像データから埋め込み情報を検出した場合に、前記画像処理工程で前記画像データから埋め込み情報を欠落させる画像処理を実行することを制限するよう制御する制御工程と、
    を備えることを特徴とする制御プログラム。
JP2008048098A 2008-02-28 2008-02-28 画像処理装置、画像処理方法及び制御プログラム Expired - Fee Related JP4999730B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008048098A JP4999730B2 (ja) 2008-02-28 2008-02-28 画像処理装置、画像処理方法及び制御プログラム
US12/395,278 US8780372B2 (en) 2008-02-28 2009-02-27 Image processing apparatus and image processing method to read and prevent loss of coded information
CN200910119115A CN101521714A (zh) 2008-02-28 2009-03-02 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008048098A JP4999730B2 (ja) 2008-02-28 2008-02-28 画像処理装置、画像処理方法及び制御プログラム

Publications (3)

Publication Number Publication Date
JP2009206928A true JP2009206928A (ja) 2009-09-10
JP2009206928A5 JP2009206928A5 (ja) 2011-04-14
JP4999730B2 JP4999730B2 (ja) 2012-08-15

Family

ID=41012961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008048098A Expired - Fee Related JP4999730B2 (ja) 2008-02-28 2008-02-28 画像処理装置、画像処理方法及び制御プログラム

Country Status (3)

Country Link
US (1) US8780372B2 (ja)
JP (1) JP4999730B2 (ja)
CN (1) CN101521714A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013102287A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像形成装置およびその方法
JP2013110467A (ja) * 2011-11-17 2013-06-06 Canon Inc 印刷装置、方法及びプログラム
US8982425B1 (en) 2013-08-23 2015-03-17 Fuji Xerox Co., Ltd Selecting information embedding method affecting correct interpretation based on effect of embedded information on content data
JP2016007768A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 印刷装置
US9378413B2 (en) 2013-08-23 2016-06-28 Fuji Xerox Co., Ltd Image processing apparatus that replaces image data in processed data

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5595002B2 (ja) * 2009-10-15 2014-09-24 キヤノン株式会社 印刷装置、及びその制御方法
US9270842B2 (en) 2011-12-20 2016-02-23 Ricoh Company, Ltd. Additional input sources for data acquisition at distributed scan management systems
US9124820B2 (en) * 2011-12-20 2015-09-01 Ricoh Company, Ltd. Content-based security processing using distributed scan management protocols
JP2014027549A (ja) * 2012-07-27 2014-02-06 Funai Electric Co Ltd 録画装置
US9648175B2 (en) 2013-10-30 2017-05-09 Ricoh Company, Ltd. Usage tracking in a distributed scan system
US10477036B2 (en) * 2016-04-14 2019-11-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN110428356B (zh) * 2019-07-22 2023-04-28 中孚安全技术有限公司 一种纸质打印件暗水印溯源方法、系统、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112650A (ja) * 2002-09-20 2004-04-08 Fuji Photo Film Co Ltd 画像処理方法及び画像表示装置、画像編集装置
JP2005175773A (ja) * 2003-12-10 2005-06-30 Ricoh Co Ltd 画像形成装置及び画像形成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113615B2 (en) * 1993-11-18 2006-09-26 Digimarc Corporation Watermark embedder and reader
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7557937B2 (en) * 2002-03-04 2009-07-07 Sharp Laboratories Of America, Inc. System and method for printing a digital camera image with time stamp
JP4039093B2 (ja) 2002-03-20 2008-01-30 富士ゼロックス株式会社 画像読取装置、複写装置、およびプログラム
KR20050078462A (ko) * 2004-01-31 2005-08-05 삼성전자주식회사 보안 인쇄 시스템 및 보안 인쇄 방법
US7755786B2 (en) * 2004-05-03 2010-07-13 Microsoft Corporation Systems and methods for support of various processing capabilities
US7573594B2 (en) * 2004-05-28 2009-08-11 Sharp Laboratories Of America, Inc. Methods and systems for document reproduction management
JP2007166218A (ja) 2005-12-13 2007-06-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びプログラム
US8488136B2 (en) * 2006-05-12 2013-07-16 Kyocera Document Solutions Inc. Printing system and method, and recording medium
JP2008005299A (ja) * 2006-06-23 2008-01-10 Konica Minolta Business Technologies Inc 画像読取装置、画像形成装置及び画像読取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112650A (ja) * 2002-09-20 2004-04-08 Fuji Photo Film Co Ltd 画像処理方法及び画像表示装置、画像編集装置
JP2005175773A (ja) * 2003-12-10 2005-06-30 Ricoh Co Ltd 画像形成装置及び画像形成方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013102287A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像形成装置およびその方法
JP2013110467A (ja) * 2011-11-17 2013-06-06 Canon Inc 印刷装置、方法及びプログラム
US8982425B1 (en) 2013-08-23 2015-03-17 Fuji Xerox Co., Ltd Selecting information embedding method affecting correct interpretation based on effect of embedded information on content data
US9378413B2 (en) 2013-08-23 2016-06-28 Fuji Xerox Co., Ltd Image processing apparatus that replaces image data in processed data
US9723174B2 (en) 2013-08-23 2017-08-01 Fuji Xerox Co., Ltd. Image processing apparatus extracting pattern matched symbol image and replacing with specified symbol based on determined degree of loss
JP2016007768A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 印刷装置

Also Published As

Publication number Publication date
US8780372B2 (en) 2014-07-15
CN101521714A (zh) 2009-09-02
JP4999730B2 (ja) 2012-08-15
US20090219561A1 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
JP4999730B2 (ja) 画像処理装置、画像処理方法及び制御プログラム
JP5147429B2 (ja) 画像処理装置、画像処理方法及びそのプログラム
JP4448156B2 (ja) 装置、方法およびプログラム
JP4974963B2 (ja) 画像形成装置及びドットパターン較正方法ならびにプログラム
JP4871841B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
US20060078159A1 (en) Method and apparatus for embedding electronic watermark, and computer product
JP2006303870A (ja) 画像形成装置及び方法
JP2008154106A (ja) 秘匿処理方法,画像処理装置および画像形成装置
JP2008211332A (ja) 画像形成装置及びその制御方法、並びにプログラム及び記憶媒体
JP4418826B2 (ja) 画像出力装置およびその制御方法
JP2008048367A (ja) 許可媒体、画像形成装置、画像形成システム及びプログラム
JP4653006B2 (ja) 潜像画像、背景画像の濃度信号値を決定する方法及び装置及びプログラム
US8458807B2 (en) Image processing apparatus and copy machine control method
JP6113258B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP5847897B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP5599081B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP4804584B2 (ja) 装置、方法、プログラムおよびシステム
JP5220168B2 (ja) 印刷装置、印刷方法、システムおよびプログラム
JP6355785B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP4674539B2 (ja) 印刷指示装置、その指示方法およびプログラム
JP2010171598A (ja) 画像処理装置
JP4574735B2 (ja) 装置、方法、プログラムおよびシステム
JP5079133B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体
JP2010098667A (ja) 画像処理装置およびその制御方法、および、プログラム
JP2008182467A (ja) 画像形成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120515

R151 Written notification of patent or utility model registration

Ref document number: 4999730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees