JP2002368992A - 画像処理装置、画像処理システム、画像処理方法及びプログラム並びにコンピュータ可読媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法及びプログラム並びにコンピュータ可読媒体

Info

Publication number
JP2002368992A
JP2002368992A JP2001171378A JP2001171378A JP2002368992A JP 2002368992 A JP2002368992 A JP 2002368992A JP 2001171378 A JP2001171378 A JP 2001171378A JP 2001171378 A JP2001171378 A JP 2001171378A JP 2002368992 A JP2002368992 A JP 2002368992A
Authority
JP
Japan
Prior art keywords
image
digital watermark
image processing
input
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001171378A
Other languages
English (en)
Other versions
JP4620902B2 (ja
Inventor
Ryotaro Imine
良太郎 井峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001171378A priority Critical patent/JP4620902B2/ja
Publication of JP2002368992A publication Critical patent/JP2002368992A/ja
Application granted granted Critical
Publication of JP4620902B2 publication Critical patent/JP4620902B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】電子透かしが埋め込まれた画像について、処理
履歴を把握することのできる画像処理装置、画像処理シ
ステム、画像処理方法及びプログラム並びにコンピュー
タ可読媒体を提供すること。 【解決手段】 原稿画像601には、耐性の強い電子透
かしAと耐性の弱い電子透かしBが埋め込まれている。
電子透かし判定部113は、画像603が入力された場
合、電子透かしAを抽出して、電子透かしプロファイル
を取得し、電子透かしプロファイルに2種類の電子透か
しが埋め込まれている旨示されているにもかかわらず、
他に埋め込まれた電子透かしが見あたらないことから、
画像603が複製画像であると判断できる。従って、複
製画像の複写は許容しないような設定になっている複写
機においては、画像601は複写できるが、その複製で
ある画像603は複写できないことになり、孫コピーを
防止できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理システム、画像処理方法及びプログラム並びにコ
ンピュータ可読媒体に関するものであり、特に電子透か
しが埋め込まれた画像を扱うことのできる画像処理装置
に関する。
【0002】
【従来の技術】近年、複写機等の画像処理装置における
高画質化やカラー化に伴い、有価証券や紙幣等の本来複
写されるべきでない原稿についての偽造の危惧が生じて
いる。このような偽造行為を防止するために、予め有価
証券や紙幣等の特定画像に対して品質に影響を及ぼさな
い形で特別の情報(電子透かし)を埋め込んでおき、処
理対象となる画像中に電子透かしが抽出された場合に
は、出力画像に対して何らかの加工を施すことによって
特定画像の忠実な再現を回避していた。
【0003】
【発明が解決しようとする課題】しかし、電子透かしは
原則的にその内容を書き換えられないものであり、入力
した画像がどのような処理を加えられたものであるかを
判定することはできなかった。従って、上記従来技術で
は、複写の回数制限を行うことはできなかった。例え
ば、オリジナル画像からの複製は許可するが、オリジナ
ル画像の複製の複製(いわゆる孫コピー)は許可しな
い、といった制御を行うことは不可能であった。
【0004】本発明は、上記従来技術の課題を解決する
ためになされたものであり、その目的とするところは、
電子透かしが埋め込まれた画像について、処理履歴を把
握することのできる画像処理装置、画像処理システム、
画像処理方法及びプログラム並びにコンピュータ可読媒
体を提供することにある。
【0005】
【課題を解決するための手段】
【発明の実施の形態】以下に、図面を参照して、この発
明の好適な実施の形態を例示的に詳しく説明する。ただ
し、この実施の形態に記載されている構成要素の相対配
置、処理の順序等は、特に特定的な記載がない限りは、
この発明の範囲をそれらのみに限定する趣旨のものでは
ない。なお、この中で、「特定画像」とは、有価証券や
紙幣等の複写が望ましくない画像をいうものとする。
【0006】(第1の実施の形態) <装置構成>図2は本発明に係る画像処理装置の第1の
実施の形態としてのデジタルフルカラー複写機100の
側断面図である。
【0007】デジタルフルカラー複写機100は、上部
にデジタルカラー画像リーダ部20、下部にデジタルカ
ラー画像プリンタ部21を有する。
【0008】まず、リーダ部20における動作について
説明する。原稿200をガラス等からなる原稿台201
上に載せ、操作部202においてコピースタート操作す
ると、露光ランプ203が原稿200を露光走査し、そ
の反射光像は反射鏡204により反射された後、レンズ
221に向かう。レンズ221を通過することによりフ
ルカラーセンサ(ここではラインCCDセンサとする)
205に集光した原稿の反射光像は、CCDセンサ20
5においてカラー色分解画像信号に変換される。カラー
分解画像信号は増幅回路206を経て画像処理ユニット
207に入力され、デジタルカメラ電気信号に変換され
た後、編集を含む各種画像処理が施され、プリンタ部2
1に送信される。
【0009】次にプリンタ部21における動作について
説明する。リーダ部20からの画像信号はレーザ出力部
208にてレーザ光信号に変換され、ポリゴンミラー2
09で反射されて、感光ドラム210の表面に投影され
る。画像形成時には、感光ドラム210を矢印方向に回
転させ、帯電器211により一様に帯電させて、分解色
ごとに光像を照射し、潜像を形成する。次に、所定の現
像器221を動作させて潜像を現像し、感光ドラム21
0上にトナー画像を形成する。同時に、記録材が記録材
カセット212から搬送され、転写ドラム213と感光
ドラム210とが対向する位置に供給される。そして、
感光ドラム210上に形成されたトナー画像が、搬送さ
れた記録材に転写される。即ち、転写ドラム213を回
転させるに従って感光ドラム210上のトナー画像が記
録材上に転写される。このようにして、各色のトナー画
像が記録材上に転写されることにより、フルカラー画像
が形成される。
【0010】フルカラー画像形成の場合、このように4
色のトナー像の転写を終了すると、記録材を転写ドラム
213から分離し、定着器214を介してトレイ215
に排紙する。両面印字を行う場合は、フリッパ216に
より記録材を経路217に導き、反転ローラ219で記
録材を反転し、両面印字用トレイ220に記録材を搬送
する。両面印字用トレイ220に搬送された記録材は、
搬送ローラによって再び転写ドラム213と感光ドラム
210との間に搬送され、裏面に画像形成がなされる。
【0011】図1は、画像処理ユニット207の内部構
成を示す図である。図中101はシェーディング補正回
路、102は入力マスキング回路である。103はRG
B編集回路、104は色空間圧縮回路、105はテーブ
ルを用いて光量−濃度変換を行うLOG変換部である。
106は出力マスキング回路、107はCMYK編集回
路、108はテーブルを用いて濃度の補正を行う濃度補
正部である。109は変倍回路、110は空間フィルタ
回路、111は黒文字処理回路、112は領域信号生成
回路である。113は電子透かし判定部、114は設定
情報格納メモリ、115は判定結果格納メモリである。
【0012】図2のCCD205によって読み込まれ、
増幅回路206でデジタル画像信号R、G、Bに変換さ
れた画像は、シェーディング補正回路101でランプ光
源203の配光の傾きやセンサのばらつきを補正され
る。シェーディング補正回路101で補正処理を加えら
れた画像信号は、入力マスキング回路102で標準色空
間を表す3信号に変換され、RGB編集回路103に入
力されて、色変換処理、他の画像との合成処理、文字加
工信号生成処理など、各種編集処理が施される。次に色
空間圧縮回路104で、原稿の色味がつぶれたりせずに
プリンタ部の色再現範囲に収まるように色空間を圧縮す
る。さらにLOG変換部105で、光量で表された画像
信号RGBを、対応する現像剤(例えばトナー)の濃度
信号C(シアン)、M(マゼンタ)、Y(イエロー)の
3色信号に変換する。出力マスキング回路106ではト
ナーの分光特性に応じて変換したCMYBkのうち、画
像を形成する1色の信号を面順次に出力する。CMYK
編集回路107でペイント、色付け等の機能を付加した
後、濃度補正回路108、変倍回路109、空間フィル
タ110を経た画像信号がJPEG圧縮部117に出力
される。
【0013】JPEG圧縮部117で圧縮された画像デ
ータはHDD等の記憶デバイス(イメージサーバ)に送
られ、格納される。
【0014】一方、黒文字処理回路111ではRGB画
像信号からその画像の太文字度、エッジ、色味を検出
し、結果に応じて出力マスキング106、空間フィルタ
110の係数、さらにレーザ駆動の線数を切り替える。
領域信号生成回路112では、ディジタイザ、あるいは
マーカーによる指定に従って領域信号を生成する。
【0015】また、画像処理ユニット207に入力され
たRGB信号は、電子透かし判定部113に送られ、そ
の信号の複数の周波数領域に埋め込まれている電子透か
しが抽出される。
【0016】読取った電子透かしが、リファレンスメモ
リ116に予め登録された、特定画像を表す電子透かし
であるかどうかの判定を行い、その判定結果を判定結果
格納メモリ115へ記憶する。この電子透かし判定は、
設定情報格納メモリ114へ記憶された情報に基づき行
われ、特定の設定、例えば、用紙設定でOHPシートな
どを選択した場合は判定処理を行わないなどの処理が行
われる。判定結果格納メモリ115に記憶された判定結
果は、随時読み出され、原稿に埋め込まれた電子透かし
が、予め設定された所定の電子透かしだと判定される
と、画像処理ユニットの他の部位に働きかけて、正常に
印字されないようにする。例えば、紙幣等複写の禁止さ
れている原稿に埋め込まれている電子透かしが原稿から
検出されると、出力画像を黒く塗りつぶす等の後処理を
する。
【0017】次に、図3を参照して、画像処理ユニット
とイメージサーバの構成を示す。画像処理ユニット20
7には、I/F302を介してイメージサーバ301が
接続されており、CCDセンサ205にて読み取られ、
画像処理された原稿の画像情報を一時的に記憶する。
【0018】イメージサーバ301は複写機内部に装着
されたHDD等であり、CCDで読み込まれた画像を一
時記憶するためのものである。
【0019】また、イメージサーバ301では、電子ソ
ータ機能、BOX機能等を実現する為、一時記憶された
画像を編集するために用いられ、更には、ネットワーク
を経由して入力した画像データを一時記憶する。
【0020】特定画像処理部303は、原稿台に置かれ
た原稿に埋込まれた電子透かし(耐性の強い電子透か
し、耐性の弱い電子透かし)が、特定画像特有の電子透
かしであるかを判定し、原稿が特定原稿(例えば偽札)で
あると判定された場合にこの特定原稿処理部で例えば黒
く塗りつぶして出力する等の処理を行なう。
【0021】画像処理ユニット207内の電子透かし判
定部113と特定原稿処理部303で判定結果のやり取
りを行い、処理後のデータをイメージサーバに記憶す
る。
【0022】<画像処理概要>図4は、画像処理ユニッ
ト207における画像出力にいたるプロセスについて説
明する図である。
【0023】まず、ステップS401でユーザから操作
部を通して設定情報を獲得する。ここで言う設定情報に
は、出力用紙の指定情報も含まれる。次に、ステップS
402で画像の読取りを行う。画像の読取りが終了する
と、ステップS403に進み、出力用紙として、予め定
められた特定用紙が指定されているかどうかを判定す
る。特定用紙とは、OHPシートなど、偽造の目的での
複写である可能性の少ないと考えられる用紙をいい、予
め装置の記憶部(不図示)に登録されている。もしユー
ザが設定した出力用紙がこの特定用紙であれば、電子透
かしの抽出の必要はないと判断してステップS408に
進み、すぐに画像出力プロセスに移る。
【0024】一方、ユーザが設定した出力用紙が特定用
紙でない場合には、ステップS404に進み、電子透か
し抽出プロセスに進む。ステップS404で電子透かし
抽出処理を行った後、ステップS405に進み、電子透
かしが埋め込まれているかどうかを判定し、電子透かし
が埋め込まれていなければ、ステップS408に進んで
画像出力プロセスに移る。電子透かしが埋め込まれてい
れば、ステップS406に進み、抽出された電子透かし
が予め登録されている電子透かしかどうかを判定するこ
とによって、読み取った画像が特定画像であるか否かを
判定する。
【0025】ステップS406で、読取り画像が特定画
像、つまり、複写が望ましくない紙幣や有価証券等のい
ずれかであると判断された場合は、ステップS407で
原稿部分を黒く塗りつぶす等の画像出力制限処理を行っ
た後ステップS408で画像出力プロセスに移る。画像
出力制限処理としては、画像記憶部(不図示)に記憶さ
れた複写禁止画像のデータを消去する等の記憶消去処理
や、特定画像の忠実な印刷出力を妨げるため、画像処理
ユニット107内において画質劣化させるような処理な
ど、様々な処理が含まれる。一方、ステップS406で
埋め込まれた電子透かしが特定画像を表すものでないと
判断された場合は、ステップS408に進み、そのまま
画像出力が行われる。
【0026】電子透かしが埋めこまれていても特定原稿
特有の電子透かし情報でなければS406でNOと判断
されそのまま出力される。逆に、例えば、紙幣に特有に
含まれている電子透かし情報であれば特定原稿であると
判断される。特定原稿に含まれている電子透かし情報
は、リファレンスメモリに記憶されており、このリファ
レンスメモリに記憶する情報はフレキシブルに更新する
ことができる。
【0027】<電子透かし抽出処理>次に、図5を用い
て、図4のステップS404で行われる電子透かし抽出
処理について説明する。
【0028】図5は、電子透かし抽出の処理の流れを示
すフローチャートである。
【0029】ステップS501において、まず増幅回路
206からデジタル画像データを入力する。本実施の形
態では、原稿からの読取り画像に対して電子透かし抽出
を行うが、本発明はこれに限定されるものではなく、C
D−ROMやDVD、HD等の記憶媒体から、デジタル
画像データを読出したり、或いは、ネットワークを介し
てデジタル画像データを入力したりしてもよい。
【0030】次に、ステップS502において、入力さ
れたデジタル画像データをブロック分割し、ブロック毎
にフーリエ変換を施し周波数成分を抽出する。更に、ス
テップS503で、得られた所定の周波数領域の画像デ
ータを振幅スペクトルと位相スペクトルに分離し、この
振幅スペクトルに含まれるレジストレーション信号を検
出する。
【0031】このレジストレーション信号は、人間の知
覚には認識されにくい第1の周波数レベル以下であっ
て、非可逆圧縮、伸長により除去されない第2周波数レ
ベル以上の中間レベルの周波数へのインパルス信号によ
り埋め込まれている。
【0032】これは、低周波成分への信号の埋め込み
は、高周波成分への信号の埋め込みに比べ人間の視覚特
性からノイズとして認識されやすいという欠点及び高周
波成分への信号の埋め込みは、JPEG圧縮などのロー
パスフィルタ的な効果を有する非可逆圧縮方式での圧縮
伸長処理により除去される可能性が高いという欠点を踏
まえたものである。
【0033】従って、ステップS503では、レジスト
レーション信号の検出を行うため、振幅スペクトルに含
まれる中間レベルの周波数領域のインパルス性信号を抽
出する。
【0034】次に、ステップS504において、抽出さ
れたインパルス信号の座標から、デジタル画像データの
スケーリング率を算出する。ここでは、スケーリングが
行われていない検出対象画像のどの周波数成分にインパ
ルス信号が埋め込まれているかを予め認識しているもの
とする。この予め認識している周波数と、インパルスが
検出された周波数の比によりスケーリング率を算出する
ことができる。例えば予め認識している周波数をa、検
出されたインパルスの信号の周波数をbとするとa/b
のスケーリングが施されていることが分かる。これは公
知のフーリエ変換の性質である。
【0035】更にステップS405において、このスケ
ーリング率によりデジタル画像データに含まれる電子透
かしを検出するためのパターンのサイズを決定し、この
パターンを用いた畳み込みを行うことでデジタル画像デ
ータに含まれる電子透かしを抽出する。
【0036】尚、電子透かしは、デジタル画像データを
構成するいずれかの成分に付加されていてもよく、人間
の視覚上もっとも鈍感である青成分に付加されているも
のとし、パターン検出は青成分のみに対して行ってもよ
い。
【0037】<特定画像判定>次に図6を用いて、図4
のステップS406において行われる特定画像判定処理
について詳しく説明する。
【0038】複写の禁止等の制限を加える必要のある、
紙幣及び有価証券等を示す電子透かしは、リファレンス
メモリ116に予め登録されており、ステップS404
において抽出された電子透かしと比較される。
【0039】また、リファレンスメモリ116には、特
定の電子透かしが検知された場合の制御の制限事項等も
あわせて管理されている。例えば、オリジナルの原稿に
対し1度のコピーは許すが、その複写物の再コピー、す
なわち孫コピーを禁止する、といった制限事項が電子透
かし毎に管理されている。
【0040】読取対象原稿がオリジナルの原稿である
か、複写物であるか、そして、どのようなオリジナル原
稿の複写物であるか、を判定するため、オリジナル原稿
には少なくとも2種類の電子透かしが予め埋め込まれ
る。つまり、オリジナル原稿の種類を表す電子透かし
と、オリジナル原稿であることを表す電子透かしであ
る。このオリジナル原稿であることを表す電子透かし
は、一度複写すれば失われるように埋め込んでおく。
【0041】ここでは、複数回複写しても失われない情
報を耐性の強い電子透かし、一度複写した程度で失われ
る電子透かし情報を耐性の弱い電子透かしと称する。
【0042】一度複写した程度で失われる電子透かし
は、JPEG圧縮等のローパスフィルタの効果のある画
像処理を施された場合に失われるものである。従って、
耐性の弱い電子透かしは、JPEG圧縮でその情報が失
われるように、目視して画像劣化が認識できない第1の
周波数領域に埋め込まれる。一方、耐性の強い電子透か
しは、JPEG圧縮でその情報が欠落されない周波数で
あって、人間の視覚特性上情報の欠落が認識されやすい
低周波成分である、第2の周波数領域に埋め込まれる。
【0043】図6の原稿画像601には、耐性の強い電
子透かしAと耐性の弱い電子透かしBが埋め込まれてい
る。各々の電子透かしは不可視であり、異なる周波数領
域に埋め込まれている。原稿画像601はJPEG圧縮
部117において圧縮された後に記憶媒体へ格納され
る。JPEG圧縮は人間の視覚特性を利用して、高周波
領域の情報を削ることによりデータ圧縮を実現するアル
ゴリズムである。従って、原稿画像601には、予めJ
PEG圧縮部117で情報の削られる高周波領域に電子
透かしBが埋め込まれ、低周波領域に電子透かしAが埋
め込まれている。
【0044】電子透かし判定部113では、リファレン
スメモリ116にある電子透かしに基づいて原稿画像に
埋め込まれた電子透かしがどのような意味を持つものか
判断する。図7は電子透かしのプロファイルの一例であ
る。電子透かし情報:2種類、これは原稿中に2種類の
電子透かしが埋め込まれていることを示している。ま
た、電子透かしID:XY123ABC、これは読み取
った電子透かし情報より得られたIDである。このID
は予めリファレンスメモリ116に登録されており、電
子透かしの種類と対応づけられている。プロファイルの
内容は、この例に限らない。
【0045】原稿画像601は、JPEG圧縮部117
によって圧縮され、記憶媒体に記憶された後、読出さ
れ、記録材上に転写されると、電子透かしAのみが埋め
込まれた画像603となる。
【0046】電子透かし判定部113は、画像603が
入力された場合、電子透かしAを抽出して、図7のよう
なプロファイルを取得し、電子透かし情報に「2種類」
とあるにもかかわらず、他に埋め込まれた電子透かしが
見あたらないことから、画像603が複製画像であると
判断できる。
【0047】従って、例えば、電子透かしBが埋め込ま
れた画像の複写は許容するが、電子透かしAのみが埋め
込まれた画像の複写は許容しないような設定になってい
る複写機においては、画像601は複写できるが、その
複製である画像603は複写できないことになり、孫コ
ピーを防止できる。
【0048】また、電子透かし判定部113では、リフ
ァレンスメモリ116内の情報に基づいて、JPEG圧
縮する際のJPEG圧縮部602の各種パラメータを調
節することができる。このことにより、原稿画像中の電
子透かしの耐性を調節することができる。即ち、JPE
Gのパラメータを変化させて、高周波領域の情報を比較
的保存する設定にすれば、耐性の弱い電子透かしBが圧
縮によって失われないようにもできる。
【0049】パラメータを調節することにより、高周波
成分のレベルを調節できる。ある周波数領域に埋め込ま
れている電子透かしについて、この周波数を可変に調節
することで、電子透かしそのものの情報のみではなく埋
め込む周波数領域において原稿を特徴づけることができ
る。
【0050】<第1の実施の形態による効果>このよう
に、オリジナル原稿に対し、オリジナル原稿であること
を表す電子透かしを、一度の複写で失われるように埋め
込むことによって、孫コピーの防止を図ることができ
る。
【0051】また、オリジナル原稿の複写か、孫コピー
かによって、何かしらのサービス的な差を設けることも
できる。例えば、オリジナル原稿以外の複写を試みる場
合は課金を行なうなどの構成にすることができる。
【0052】(第2の実施の形態)次に、本発明の第2
の実施の形態としての複写機について説明する。ただ
し、装置の全体構成は図1、図2に示したものと同様で
あるから、ここではその説明は省略する。上記第1の実
施の形態が、複写機内部で全ての画像処理を行うのに対
し、本実施の形態は画像出力の制限を行うべきかどうか
を、外部の管理サーバに問い合わせる点で異なる。
【0053】特定画像であるか否かは複写機内部で行
い、電子透かし情報が特定の原稿にのみ含まれているも
のか否かは複写機内部のリファレンスメモリの情報を参
照し判断される。管理サーバではリファレンスメモリへ
登録する電子透かし情報を管理している。特定原稿と判
断された場合には様々な制御が考えられる。例えば複写
が禁止されているものであれば、画像出力に制限を加え
ることができる。一方、特に制限が加えられていないが
複写行為又は原稿を読み取る(電子透かしを読み取る)こ
とにより何かサービスを受けられる。例えば店舗におか
れた場合に、ある特定の電子透かし情報の入っている原
稿のコピー料金は無料とする制御を行なうなどのサービ
スが実現可能である。
【0054】特定原稿か否かはリファレンスメモリに登
録されている電子透かし情報を参照して判断する為、原
稿中に電子透かし情報は埋め込まれていてもリファレン
スメモリにその情報が登録されていなければ通常のコピ
ーを行なうことができる。
【0055】また、リファレンスメモリの内容は頻繁に
更新されうる情報(サービスに関わる情報)である。紙幣
や有価証券に関する情報は複写禁止原稿としてレベルの
高いためリファレンスメモリに固定的に記憶され得る。
【0056】特定の原稿及び電子データに対し特定の制
限を設ける場合は、ネットワーク上の管理サーバでリフ
ァレンス情報を管理する。
【0057】複写機内部のメモリ容量には限りがあり、
容量を越えるデータを管理サーバが受け持つ。管理サー
バは、日々更新されるデータが存在し得るという観点で
必要になる。
【0058】<システム構成>図8に示すように、本複
写機100と管理サーバ1000とは共通のネットワー
クを介して接続されており、複写機から管理サーバに対
して電子透かしのプロファイルを送信することができ
る。このとき送信されるプロファイルとは、何種類の電
子透かしが埋め込まれていたか、どの周波数に埋め込ま
れていたか、そして、その電子透かしを識別するID
等、原稿を特定するための情報である。
【0059】ここで、プロファイルを送信するためのプ
ロファイル送信部は、図示されていないが、電子透かし
判定部113に接続されており、抽出した電子透かしに
ついての情報を装置外に出力するインターフェースを備
えている。通信手段は、LANでも、電話回線でも、無
線通信でもよい、 <画像処理概要>図9は、画像処理ユニット207にお
ける画像出力にいたるプロセスについて説明する図であ
る。ほとんどのステップは図4と同じ処理を行うため、
同様のステップについては同じ符号を付してその説明は
省略する。
【0060】ステップS404で電子透かし抽出処理を
行った後、ステップS405に進み、電子透かしが埋め
込まれているかどうかを判定し、電子透かしが埋め込ま
れていなければ、ステップS408に進んで画像出力プ
ロセスに移る。電子透かしが埋め込まれていれば、ステ
ップS701に進み、電子透かしプロファイルを管理サ
ーバ1000に対して送信する。管理サーバ1000で
は、複写機100から送信されてきた電子透かしプロフ
ァイルを用いて、抽出された電子透かしが、予め登録さ
れている(制限の必要な)電子透かしかどうかを判定す
る。そして、複写機100に対し、画像出力制限が必要
かどうか、そして、どのような制限を加える適当かを示
す情報を送信する。
【0061】この情報により、ステップS702では、
制限が必要かどうか判定し、必要であれば、ステップS
407に進んで、指定された制限を加えるべく処理が行
われ、もし制限が必要で無ければステップS408に進
んでそのまま画像出力が行われる。
【0062】なお、ここでは電子透かし判定部113が
直接管理サーバ1000と情報のやりとりを行う場合に
ついて示したが、リファレンスメモリ116と管理サー
バ1000とが情報のやりとりを行ってもよい。例え
ば、管理サーバが更新される度に複写機内のリファレン
スメモリ116に新しいデータをダウンロードし手も良
いし、もしくは、参照する電子透かしについての情報が
リファレンスメモリ116あるかどうか判定し、無い場
合に、管理サーバ1000へ問い合わせてもよい。
【0063】また、管理サーバ1000は、画像出力制
限情報として、著作権に関する情報、課金情報、を管理
していてもよい。その場合、電子透かしプロファイルを
複写機100から受信すれば、そのプロファイルに対応
する著作権情報や課金情報を複写機100に対して回答
し、複写機100のユーザにそれらの情報を提示でき
る。そして、例えば、課金情報に応じた料金が支払われ
た場合にのみ複写を認めるといった制御を行うこともで
きる。電子透かしプロファイルと引き替えに管理サーバ
1000から提供される情報の例としては、図10
(a)(b)のようなものがある。図10(a)におい
て、制御情報は「モノクロ出力のみ出力可」であり、そ
の電子透かしを埋め込まれた原稿はカラーモードでは複
写することができない。また、課金情報は「Free」
であるから、複写には著作権料としての料金がかからな
い。著作物情報は「Non」であるから、著作者が著作
権を放棄していることを示している。著作者情報はXX
出版社とあり、原稿画像の著作者がXX出版社であるこ
とが分かる。
【0064】また、図10(b)において、制御情報は
「高画質モードで出力可」とあるのでその原稿は、低圧
縮率で圧縮することができ、データの劣化を比較的緩や
かなものとできる。また、このモードでは、文字原稿に
は文字原稿に適した画像処理、文字/写真混在した原稿
に適した画像処理、写真原稿に適した画像処理を施す。
つまり、それぞれの原稿に適した画像処理を施す。
【0065】課金情報は「10円/枚」となっているの
で、これは1枚複写するたびに著作権料として10円支
払わなければならないことを示している。次に著作物情
報は「著作権対象」となっており、この原稿の著作者が
著作権を主張していることを示している。そして著作者
情報は「I.R」となっている、これはI.R氏に著作
権があることを示している。
【0066】(その他の実施の形態)上記実施の形態に
おいては、電子透かしが取り除かれたか否かを判定し
て、所定の電子透かしが取り除かれた画像については、
複製に制限を加えているが、本発明はこれに限定される
ものではなく、所定の電子透かしが取り除かれた画像に
ついては、自由に複製できるように制御してもよい。
【0067】なお、本発明は、複数の機器(例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機、ファクシミリ装置
など)に適用してもよい。
【0068】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【0069】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【0070】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した(図4および/または図
9に示す)フローチャートに対応するプログラムコード
が格納されることになる。
【0071】
【発明の効果】本発明によれば、電子透かしが埋め込ま
れた画像について、処理履歴を把握することのできる画
像処理装置、画像処理システム、画像処理方法及びプロ
グラム並びにコンピュータ可読媒体を提供することがで
きる。
【0072】また、特定画像の判定による負荷を極力低
減させることにより、装置のパフォーマンスの低下を抑
制することができる。
【図面の簡単な説明】
【図1】本発明の第1実施の形態としての複写機内の画
像処理部の詳細構成を示すブロック図である。
【図2】本発明の第1実施の形態としての複写機の側断
面図である。
【図3】要補充
【図4】本発明の第1実施の形態としての複写機におけ
る画像処理の流れを示すフローチャートである。
【図5】本発明の第1実施の形態としての複写機におけ
る電子透かし抽出処理の流れを示すフローチャートであ
る。
【図6】本発明の第1実施の形態としての複写機におけ
る電子透かし判定を説明する図である。
【図7】本発明の第1実施の形態としての複写機におけ
る電子透かしプロファイルの例を示す図である。
【図8】本発明の第2実施の形態としての画像処理シス
テムの構成を示す図である。
【図9】本発明の第2実施の形態としての複写機におけ
る画像処理の流れを示すフローチャートである。
【図10】本発明の第2実施の形態としての複写機にお
ける電子透かし判定情報の例を示す図である。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成13年6月7日(2001.6.7)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0005
【補正方法】変更
【補正内容】
【0005】
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る装置は、画像を入力する入力手段と、
前記入力手段により入力した入力画像が、元々埋め込ま
れていた電子透かしを特定の画像処理により取り除かれ
た画像であるか否か判定する判定手段と、前記判定手段
の判定結果に応じて前記入力画像の複製を制限する制御
手段と、を有することを特徴とする。電子透かしが埋め
込まれた画像に対して、特定の画像処理を行うことによ
り、該電子透かしを取り除く画像処理手段を更に有する
ことを特徴とする。前記特定の画像処理は、画像圧縮処
理であることを特徴とする。前記画像圧縮処理は、JP
EG圧縮処理であることを特徴とする。前記判定手段
は、複数の電子透かしの内の一部が取り除かれた画像か
否かを判定することを特徴とする。前記判定手段は、複
数の電子透かしの内の一部が取り除かれた画像か否か
を、取り除かれなかった電子透かしに基づいて判定する
ことを特徴とする。前記判定手段は、前記取り除かれな
かった電子透かしに含まれる、埋め込み電子透かし数を
示す情報と、前記入力画像に埋め込まれた電子透かし数
とを比較することによって判定することを特徴とする。
前記入力手段は、原稿画像を光学的に読み取り電子デー
タに変換する読取手段であることを特徴とする。記録材
に対して画像を記録する画像記録手段を更に有し、前記
制御手段は、前記入力画像が、前記画像記録手段でその
まま記録されることを制限することを特徴とする。電子
透かしの識別情報から、該電子透かしが埋め込まれてい
た画像について、元々埋め込まれていた電子透かしを特
定の画像処理により取り除かれた画像であるか否か判定
する判定装置と接続される画像処理装置であって、画像
を入力する入力手段と、前記入力手段により入力した入
力画像から電子透かしを抽出する抽出手段と、、抽出し
た電子透かしの識別情報を前記判定装置に送信する送信
手段と、前記判定装置から判定情報を受信する受信手段
と、前記判定情報に応じて前記入力画像の複製を制限す
る制御手段と、を含むことを特徴とする。電子透かしの
識別情報から、該電子透かしが埋め込まれていた画像に
ついて、元々埋め込まれていた電子透かしを特定の画像
処理により取り除かれた画像であるか否か判定する判定
装置と、画像処理装置と、を含む画像処理システムであ
って、前記画像処理装置は、画像を入力する入力手段
と、前記入力手段により入力した入力画像から電子透か
しを抽出する抽出手段と、、抽出した電子透かしの識別
情報を前記判定装置に送信する送信手段と、前記判定装
置から判定情報を受信する受信手段と、前記判定情報に
応じて前記入力画像の複製を制限する制御手段と、を含
むことを特徴とする。上記目的を達成するため、本発明
に係る方法は、画像が、元々埋め込まれていた電子透か
しを特定の画像処理により取り除かれたものであるか否
か判定する判定工程と、前記判定工程の判定結果に応じ
て前記画像の複製を制限する制御工程と、を有すること
を特徴とする。上記目的を達成するため、本発明に係る
プログラムは、コンピュータに、画像が、元々埋め込ま
れていた電子透かしを特定の画像処理により取り除かれ
たものであるか否か判定する判定工程と、前記判定工程
の判定結果に応じて前記画像の複製を制限する制御工程
と、を実行させることを特徴とする。上記目的を達成す
るため、本発明に係る記憶媒体は、コンピュータに、画
像が、元々埋め込まれていた電子透かしを特定の画像処
理により取り除かれたものであるか否か判定する判定工
程と、前記判定工程の判定結果に応じて前記画像の複製
を制限する制御工程と、を実行させるためのプログラム
を記録したことを特徴とする。
【発明の実施の形態】以下に、図面を参照して、この発
明の好適な実施の形態を例示的に詳しく説明する。ただ
し、この実施の形態に記載されている構成要素の相対配
置、処理の順序等は、特に特定的な記載がない限りは、
この発明の範囲をそれらのみに限定する趣旨のものでは
ない。なお、この中で、「特定画像」とは、有価証券や
紙幣等の複写が望ましくない画像をいうものとする。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図1】本発明の第1実施の形態としての複写機内の画
像処理部の詳細構成を示すブロック図である。
【図2】本発明の第1実施の形態としての複写機の側断
面図である。
【図3】本発明の第1実施形態としての画像処理ユニッ
トとイメージサーバの構成を示す図である。
【図4】本発明の第1実施の形態としての複写機におけ
る画像処理の流れを示すフローチャートである。
【図5】本発明の第1実施の形態としての複写機におけ
る電子透かし抽出処理の流れを示すフローチャートであ
る。
【図6】本発明の第1実施の形態としての複写機におけ
る電子透かし判定を説明する図である。
【図7】本発明の第1実施の形態としての複写機におけ
る電子透かしプロファイルの例を示す図である。
【図8】本発明の第2実施の形態としての画像処理シス
テムの構成を示す図である。
【図9】本発明の第2実施の形態としての複写機におけ
る画像処理の流れを示すフローチャートである。
【図10】本発明の第2実施の形態としての複写機にお
ける電子透かし判定情報の例を示す図である。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA11 BA02 CE09 CG07 CH18 DA08 DC01 DC36 5C076 AA14 BA06 5C077 LL14 NP07 PP21 PP49 PP55 PP65 PP68 PQ08 PQ20 PQ22 RR21 SS01 TT06

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】画像を入力する入力手段と、 前記入力手段により入力した入力画像が、元々埋め込ま
    れていた電子透かしを特定の画像処理により取り除かれ
    た画像であるか否か判定する判定手段と、 前記判定手段の判定結果に応じて前記入力画像の複製を
    制限する制御手段と、 を有することを特徴とする画像処理装置。
  2. 【請求項2】電子透かしが埋め込まれた画像に対して、
    特定の画像処理を行うことにより、該電子透かしを取り
    除く画像処理手段を更に有することを特徴とする請求項
    1に記載の画像処理装置。
  3. 【請求項3】前記特定の画像処理は、画像圧縮処理であ
    ることを特徴とする請求項1または2に記載の画像処理
    装置。
  4. 【請求項4】前記画像圧縮処理は、JPEG圧縮処理で
    あることを特徴とする請求項3に記載の画像処理装置。
  5. 【請求項5】前記判定手段は、複数の電子透かしの内の
    一部が取り除かれた画像か否かを判定することを特徴と
    する請求項1に記載の画像処理装置。
  6. 【請求項6】前記判定手段は、複数の電子透かしの内の
    一部が取り除かれた画像か否かを、取り除かれなかった
    電子透かしに基づいて判定することを特徴とする請求項
    5に記載の画像処理装置。
  7. 【請求項7】前記判定手段は、前記取り除かれなかった
    電子透かしに含まれる、埋め込み電子透かし数を示す情
    報と、前記入力画像に埋め込まれた電子透かし数とを比
    較することによって判定することを特徴とする請求項6
    に記載の画像処理装置。
  8. 【請求項8】前記入力手段は、原稿画像を光学的に読み
    取り電子データに変換する読取手段であることを特徴と
    する請求項1に記載の画像処理装置。
  9. 【請求項9】記録材に対して画像を記録する画像記録手
    段を更に有し、 前記制御手段は、前記入力画像が、前記画像記録手段で
    そのまま記録されることを制限することを特徴とする請
    求項1に記載の画像処理装置。
  10. 【請求項10】電子透かしの識別情報から、該電子透か
    しが埋め込まれていた画像について、元々埋め込まれて
    いた電子透かしを特定の画像処理により取り除かれた画
    像であるか否か判定する判定装置と接続される画像処理
    装置であって、 画像を入力する入力手段と、 前記入力手段により入力した入力画像から電子透かしを
    抽出する抽出手段と、 、 抽出した電子透かしの識別情報を前記判定装置に送信す
    る送信手段と、 前記判定装置から判定情報を受信する受信手段と、 前記判定情報に応じて前記入力画像の複製を制限する制
    御手段と、 を含むことを特徴とする画像処理装置。
  11. 【請求項11】電子透かしの識別情報から、該電子透か
    しが埋め込まれていた画像について、元々埋め込まれて
    いた電子透かしを特定の画像処理により取り除かれた画
    像であるか否か判定する判定装置と、 画像処理装置と、を含む画像処理システムであって、 前記画像処理装置は、 画像を入力する入力手段と、 前記入力手段により入力した入力画像から電子透かしを
    抽出する抽出手段と、、 抽出した電子透かしの識別情報を前記判定装置に送信す
    る送信手段と、 前記判定装置から判定情報を受信する受信手段と、 前記判定情報に応じて前記入力画像の複製を制限する制
    御手段と、 を含むことを特徴とする画像処理システム。
  12. 【請求項12】画像が、元々埋め込まれていた電子透か
    しを特定の画像処理により取り除かれたものであるか否
    か判定する判定工程と、 前記判定工程の判定結果に応じて前記画像の複製を制限
    する制御工程と、 を有することを特徴とする画像処理方法。
  13. 【請求項13】コンピュータに、 画像が、元々埋め込まれていた電子透かしを特定の画像
    処理により取り除かれたものであるか否か判定する判定
    工程と、 前記判定工程の判定結果に応じて前記画像の複製を制限
    する制御工程と、 を実行させるためのプログラム。
  14. 【請求項14】コンピュータに、 画像が、元々埋め込まれていた電子透かしを特定の画像
    処理により取り除かれたものであるか否か判定する判定
    工程と、 前記判定工程の判定結果に応じて前記画像の複製を制限
    する制御工程と、 を実行させるためのプログラムを記録したコンピュータ
    可読媒体。
JP2001171378A 2001-06-06 2001-06-06 画像処理装置、制御方法、およびプログラム Expired - Fee Related JP4620902B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001171378A JP4620902B2 (ja) 2001-06-06 2001-06-06 画像処理装置、制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001171378A JP4620902B2 (ja) 2001-06-06 2001-06-06 画像処理装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2002368992A true JP2002368992A (ja) 2002-12-20
JP4620902B2 JP4620902B2 (ja) 2011-01-26

Family

ID=19013154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001171378A Expired - Fee Related JP4620902B2 (ja) 2001-06-06 2001-06-06 画像処理装置、制御方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP4620902B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186952A (ja) * 2004-12-28 2006-07-13 Nippon Hoso Kyokai <Nhk> 電子透かし埋込システム、電子透かし埋込装置、送信装置、受信装置、送信プログラム、及び受信プログラム
JP2008160827A (ja) * 2002-05-14 2008-07-10 Mediasec Technologies Gmbh 印刷文書のための可視認証パターン
JP2008219767A (ja) * 2007-03-07 2008-09-18 Canon Inc 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体
JPWO2007049333A1 (ja) * 2005-10-25 2009-04-30 富士通株式会社 背景地紋画像生成方法
WO2018168826A1 (ja) * 2017-03-14 2018-09-20 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156781A (ja) * 1998-11-20 2000-06-06 Canon Inc 電子透かし埋め込み装置、不正検知装置及びコンピュータ読み取り可能な記憶媒体
JP2000287067A (ja) * 1999-03-31 2000-10-13 Canon Inc 情報処理システム、情報処理装置及びコンピュータ読み取り可能な記憶媒体
JP2001127988A (ja) * 1999-10-29 2001-05-11 Sony Corp 情報処理装置、データ再生装置、データ記録装置及びそれらの方法、並びにプログラム格納媒体
JP2001144940A (ja) * 1999-11-15 2001-05-25 Canon Inc 情報処理装置および情報処理装置の画像処理方法および記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749866B2 (ja) * 1989-04-25 1998-05-13 キヤノン株式会社 画像形成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156781A (ja) * 1998-11-20 2000-06-06 Canon Inc 電子透かし埋め込み装置、不正検知装置及びコンピュータ読み取り可能な記憶媒体
JP2000287067A (ja) * 1999-03-31 2000-10-13 Canon Inc 情報処理システム、情報処理装置及びコンピュータ読み取り可能な記憶媒体
JP2001127988A (ja) * 1999-10-29 2001-05-11 Sony Corp 情報処理装置、データ再生装置、データ記録装置及びそれらの方法、並びにプログラム格納媒体
JP2001144940A (ja) * 1999-11-15 2001-05-25 Canon Inc 情報処理装置および情報処理装置の画像処理方法および記憶媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160827A (ja) * 2002-05-14 2008-07-10 Mediasec Technologies Gmbh 印刷文書のための可視認証パターン
US7991198B2 (en) 2002-05-14 2011-08-02 Schreiner Group Gmbh & Co. Kg Visible authentication patterns for printed document
JP2006186952A (ja) * 2004-12-28 2006-07-13 Nippon Hoso Kyokai <Nhk> 電子透かし埋込システム、電子透かし埋込装置、送信装置、受信装置、送信プログラム、及び受信プログラム
JP4537847B2 (ja) * 2004-12-28 2010-09-08 日本放送協会 電子透かし送信装置、電子透かし受信装置、電子透かし送信プログラム、及び電子透かしプログラム
JPWO2007049333A1 (ja) * 2005-10-25 2009-04-30 富士通株式会社 背景地紋画像生成方法
JP2008219767A (ja) * 2007-03-07 2008-09-18 Canon Inc 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体
WO2018168826A1 (ja) * 2017-03-14 2018-09-20 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10868933B2 (en) 2017-03-14 2020-12-15 Nec Corporation Image processing apparatus, image processing system, image processing method, and program for verifying authorization for image duplication

Also Published As

Publication number Publication date
JP4620902B2 (ja) 2011-01-26

Similar Documents

Publication Publication Date Title
KR100805594B1 (ko) 농도 결정 방법, 화상 형성 장치 및 화상 처리 시스템
US7379214B2 (en) Image processing apparatus capable of processing image embedded with digital watermark, method for controlling the image processing apparatus, and storage medium storing program to execute the method
JP4836260B2 (ja) 画像形成装置、画像形成方法、記録媒体及びプログラム
US7633652B2 (en) Image processing apparatus capable of processing image embedded with digital watermark, method for controlling the image processing apparatus, and storage medium storing program to execute the method
JP2001218045A (ja) 画像処理装置及び画像処理方法
JP2001086330A (ja) 画像処理システム
JP4620902B2 (ja) 画像処理装置、制御方法、およびプログラム
JP4137935B2 (ja) 画像処理装置、パターン検出方法、プログラム、及び記録媒体
JP4720533B2 (ja) 画像形成装置、画像形成装置の制御方法、および画像形成装置の制御プログラム
JP2001218037A (ja) 画像形成装置及びその制御方法
JP2007174129A (ja) 画像形成装置
EP1213908B1 (en) Anti-counterfeit detection for low end products
JP3639763B2 (ja) 画像処理システム及び画像処理システムにおける処理方法
JP2873220B2 (ja) 画像処理装置
JP5960046B2 (ja) 画像形成装置
JP4857083B2 (ja) 画像形成システム及び画像形成装置
JP4114932B2 (ja) 情報管理装置
JP3245154B2 (ja) 画像処理装置
JP2004048385A (ja) 画像処理装置及びその制御方法
JP2001218043A (ja) 画像入出力処理装置及び画像入出力処理方法
JP3774712B2 (ja) カラー画像処理装置
JP2002044434A (ja) 画像形成装置および情報処理装置および画像形成装置の制御方法および情報処理装置の制御方法および記憶媒体
JP5021837B2 (ja) 画像形成装置、画像読取方法およびプログラム
JP4168596B2 (ja) 画像処理装置
JP3848481B2 (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100910

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees