JP2008228161A - 画像処理装置,画像処理方法,プログラム,および記録媒体 - Google Patents

画像処理装置,画像処理方法,プログラム,および記録媒体 Download PDF

Info

Publication number
JP2008228161A
JP2008228161A JP2007066665A JP2007066665A JP2008228161A JP 2008228161 A JP2008228161 A JP 2008228161A JP 2007066665 A JP2007066665 A JP 2007066665A JP 2007066665 A JP2007066665 A JP 2007066665A JP 2008228161 A JP2008228161 A JP 2008228161A
Authority
JP
Japan
Prior art keywords
information
page
embedded
image
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007066665A
Other languages
English (en)
Other versions
JP4979417B2 (ja
Inventor
Yuka Kihara
酉華 木原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007066665A priority Critical patent/JP4979417B2/ja
Publication of JP2008228161A publication Critical patent/JP2008228161A/ja
Application granted granted Critical
Publication of JP4979417B2 publication Critical patent/JP4979417B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 入力画像に対する情報の埋め込みや抽出を効率的に行えるようにする。
【解決手段】 MFPの制御部102は、埋め込み情報を埋め込む文書画像(メモリ111,スキャナ部104,又は受信I/F106からの入力画像)のページを決定し、その埋め込み情報と決定したページとの関連を示すインデックス情報を作成して、その埋め込み情報を決定したページに埋め込むと共に、作成したインデックス情報を文書画像の所定ページ(例えば1ページ目)に埋め込む。一方、文書画像の所定ページからインデックス情報を抽出し、そのインデックス情報に基づいて埋め込み情報を抽出する入力画像のページを決定して、そのページから埋め込み情報を抽出する。
【選択図】 図1

Description

この発明は、画像形成装置(デジタル複合機,デジタル複写機,ファクシミリ装置,プリンタ等)や画像読取装置(スキャナ装置等)、パーソナルコンピュータ(以下「PC」と略称する)等の画像処理装置、その画像処理装置における画像処理方法、その画像処理装置を制御するコンピュータ(CPU)に実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に画像(文書画像等)に情報を埋め込む技術および埋め込まれた情報を抽出する技術に関する。
パーソナルコンピュータ(以下「パソコン」又は「PC」ともいう)およびインタネットが普及するにつれ、作り出されるデジタル・コンテンツの量も増加している。
そのような中、近年、オフィス文書のセキュリティ管理方法の一つとして情報埋め込み(又は透かし)技術が利用されるようになった。
人間が知覚できないように透かし情報を埋め込む技術として、例えば特許文献1に見られるように、画像データをウェーブレット変換し、周波数空間での冗長性を利用して透かし情報を埋め込む手法が提案されている。
また、文書画像のような二値画像は冗長度が少なく、電子透かし技術を実現するのが難しいが、文書画像特有の特徴を利用した電子透かし方式(以下「文書透かし」と呼ぶ)が幾つか知られている。文書透かしの例を、以下に列挙する。
(1)行のベースラインを動かす方法(例えば特許文献2参照)
(2)単語間の空白長を操作する方法(例えば特許文献3,4参照)
(3)文字間の空白長を操作する方法(King Mongkut大学「Electronic document data hiding techniqueusing inter−character space」The 1998 IEEE Asia−Pacific Conf. On Circuits and Systems、1998、419−422頁参照)、
(4)白黒二値のビットマップ画像として扱う方法(例えば特許文献5参照)。
一方、このようなデジタル・コンテンツは印刷して紙文書として利用される場合が多く、プリンタによる高解像度出力が可能となる中で、印刷向けの情報埋め込み(又は透かし)技術が各種考案されている。
例えば、特許文献6,7では、コンテンツデータをプリンタ出力する際に、コンテンツデータの背景に地紋と呼ばれる画像を重ねて出力する技術が開示されている。地紋画像は、原本(プリンタで出力した印刷物)においては人間の目に対して単なる模様や背景色などに見えるが、原本を複写すると複写物上に所定の文字などが浮び上がるようなものである。これにより、複写した者に偽造防止用紙と同様の牽制効果を与えることができる。
さらに、印刷物として最も広く利用される白黒の二値の文書に対する電子透かし埋め込み方法としては、例えば特許文献8に見られるように、情報を数値化し、基準点マークと位置判別マークとの距離(ドット数)により情報の表現を行うものなどがある。
特開2000−106624号公報 特許第3136061号 米国特許第6,086,706号明細書 特開平9−186603号公報 特開平11−234502号公報 特開2001−197297号公報 特開2001−238075号公報 特開平9−179494号公報
しかしながら、電子透かしとしてデータの変更を知覚されない範囲で情報を埋め込む場合、1ページに埋め込むことができる情報量には制限がある。埋め込み対象が複数ページからなる文書画像の場合、より多くの情報を埋め込むことが可能であるが、その場合、ユーザが各ページに埋め込む情報を指定するため、ユーザ側に負担のかかる処理となっていた。また、抽出時には入手したい情報の全てあるいは一部を入手するために、全てのページから抽出処理を行うか、ユーザがページを指定して処理する必要があり、特にページ数の多い文書画像を扱う場合には、抽出処理に対する負荷が大きかった。
この発明は、上記の点に鑑みてなされたものであり、入力画像に対する情報の埋め込みや抽出を効率的に行えるようにし、ユーザの負担を軽減できるようにすることを目的とする。
この発明は、上記の目的を達成するため、画像処理装置、その画像処理装置における画像処理方法、その画像処理装置を制御するコンピュータに実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
請求項1の発明による画像処理装置は、画像入力手段からの入力画像を処理する画像処理装置であって、埋め込み情報を埋め込む上記入力画像のページを決定するページ決定手段と、上記埋め込み情報と上記ページ決定手段によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成手段と、上記埋め込み情報を上記ページ決定手段によって決定したページに埋め込むと共に、上記インデックス作成手段によって作成したインデックス情報を上記入力画像の所定ページに埋め込む情報埋め込み手段とを設けたものである。
請求項2の発明による画像処理装置は、請求項1の画像処理装置において、上記埋め込み情報を意味のあるまとまりに分割する情報分割手段を設け、上記ページ決定手段を、上記情報分割手段によって分割した各情報を埋め込む上記入力画像のページを決定する手段としたものである。
請求項3の発明による画像処理装置は、請求項1又は2の画像処理装置において、上記入力画像に上記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否判断手段を設けたものである。
請求項4の発明による画像処理装置は、請求項2の画像処理装置において、上記情報分割手段によって分割される各情報の重要度を指定する重要度指定手段を設けたものである。
請求項5の発明による画像処理装置は、画像入力手段からの入力画像を処理する画像処理装置であって、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出手段と、該インデックス情報抽出手段によって抽出した上記インデックス情報に基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定手段と、該抽出ページ決定手段によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出手段とを設けたものである。
請求項6の発明による画像処理装置は、画像入力手段から入力される画像を処理する画像処理装置であって、抽出する埋め込み情報を指定する抽出情報指定手段と、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出手段と、上記抽出情報指定手段による指定情報と上記インデックス情報抽出手段によって抽出した上記インデックス情報とに基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定手段と、該抽出ページ決定手段によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出手段とを設けたものである。
請求項7の発明による画像処理方法は、画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、埋め込み情報を埋め込む上記入力画像のページを決定するページ決定工程と、上記埋め込み情報と上記ページ決定工程によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成工程と、上記埋め込み情報を上記ページ決定工程によって決定したページに埋め込むと共に、上記インデックス作成工程によって作成したインデックス情報を上記入力画像の所定ページに埋め込む情報埋め込み工程とからなるものである。
請求項8の発明による画像処理方法は、請求項7の画像処理方法において、上記埋め込み情報を意味のあるまとまりに分割する情報分割工程を有し、上記ページ決定工程では、上記情報分割工程によって分割した各情報を埋め込む上記入力画像のページを決定するものである。
請求項9の発明による画像処理方法は、請求項7又は8の画像処理方法において、上記入力画像に上記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否判断工程を有するものである。
請求項10の発明による画像処理方法は、請求項8の画像処理方法において、上記情報分割工程よって分割される各情報の重要度を指定する重要度指定工程を有するものである。
請求項11の発明による画像処理方法は、画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出工程と、該インデックス情報抽出工程によって抽出した上記インデックス情報に基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定工程と、該抽出ページ決定工程によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出工程とからなるものである。
請求項12の発明による画像処理方法は、画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、抽出する埋め込み情報を指定する抽出情報指定工程と、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出工程と、上記抽出情報指定工程による指定情報と上記インデックス情報抽出工程によって抽出した上記インデックス情報とに基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定工程と、該抽出ページ決定手段によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出工程とからなるものである。
請求項13の発明によるプログラムは、画像入力手段からの入力画像を処理する画像処理装置を制御するコンピュータに、埋め込み情報を埋め込む上記入力画像のページを決定するページ決定機能と、上記埋め込み情報と上記ページ決定機能によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成機能と、上記埋め込み情報を上記ページ決定機能によって決定したページに埋め込むと共に、上記インデックス作成機能によって作成したインデックス情報を上記入力画像の所定ページに埋め込む情報埋め込み機能とを実現させるためのプログラムである。
請求項14の発明によるプログラムは、請求項13のプログラムにおいて、上記コンピュータに、上記埋め込み情報を意味のあるまとまりに分割する情報分割機能をも実現させるためのプログラムであり、上記ページ決定機能が、上記情報分割機能によって分割した各情報を埋め込む上記入力画像のページを決定するものである。
請求項15の発明によるプログラムは、請求項13又は14のプログラムにおいて、上記コンピュータに、上記入力画像に上記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否機能をも実現させるためのプログラムである。
請求項16の発明によるプログラムは、請求項14のプログラムにおいて、上記コンピュータに、上記情報分割機能によって分割される各情報の重要度を指定する重要度指定機能をも実現させるためのプログラムである。
請求項17の発明によるプログラムは、画像入力機能からの入力画像を処理する画像処理装置を制御するコンピュータに、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出機能と、該インデックス情報抽出機能によって抽出した上記インデックス情報に基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定機能と、該抽出ページ決定機能によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出機能とを実現させるためのプログラムである。
請求項18の発明によるプログラムは、画像入力機能から入力される画像を処理する画像処理装置を制御するコンピュータに、抽出する埋め込み情報を指定する抽出情報指定機能と、埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を上記入力画像の所定ページから抽出するインデックス情報抽出機能と、上記抽出情報指定機能による指定情報と上記インデックス情報抽出機能によって抽出した上記インデックス情報とに基づいて上記埋め込み情報を抽出する上記入力画像のページを決定する抽出ページ決定機能と、該抽出ページ決定機能によって決定したページから上記埋め込み情報を抽出する埋め込み情報抽出機能とを実現させるためのプログラムである。
請求項19の発明による記録媒体は、請求項13〜18のいずれかのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この発明によれば、画像処理装置が、埋め込み情報を埋め込む入力画像のページを決定し、その埋め込み情報と決定したページとの関連を示すインデックス情報を作成して、その埋め込み情報を決定したページに埋め込むと共に、作成したインデックス情報を入力画像の所定ページ(例えば1ページ目)に埋め込むことにより、入力画像への情報の埋め込みを効率的に行えるため、ユーザの負担を軽減できる。また、入力画像の所定ページからインデックス情報を抽出し、そのインデックス情報に基づいて埋め込み情報を抽出する入力画像のページを決定して、そのページから埋め込み情報を抽出することにより、入力画像からの埋め込み情報の抽出を効率的に行えるため、ユーザの負担を軽減できる。
以下、この発明を実施するための最良の形態を図面に基づいて具体的に説明する。なお、この実施形態では画像処理装置として画像形成装置、特に複写機,スキャナ,プリンタ,およびファクシミリ装置等の複数の機能を複合したデジタル複合機(以下「MFP」という)を用いた例について説明する。
〔MFPの構成例〕
まず、この発明の一実施形態であるMFPの構成について、図1を参照して説明する。
図1は、この発明の一実施形態であるMFPの構成例を示すブロック図である。
このMFPは、画像形成部101,制御部102,フィニッシャ103,スキャナ部104,操作部105,複数の受信インタフェース(以下「インタフェース」を「I/F」と略称する)106,および複数の送信I/F107から構成されている。
画像形成部101は、画像入力手段としての機能を有するスキャナ部104,受信I/F106,又は後述するメモリ111からの画像データ(入力画像)を可視画像として用紙に印刷(形成)する画像形成手段である。
フィニッシャ103は、印刷済みの用紙を仕分けして排紙するものである。
スキャナ104は、原稿の画像を光学的に読み取り、画像データとして出力する画像読取手段である。このスキャナ104としては、オート・ドキュメント・フィーダタイプのものを用いてもよい。
操作部105は、当該MFPの各種動作状態や設定状態を表示したり、ユーザが各種操作や設定を行ったり情報を入力したりするための手段であり、例えばタッチパネルを積層した液晶ディスプレイと各種キー等によって構成することができる。
複数の受信I/F106および複数の送信I/F107は、それぞれ図示しない専用I/Fで制御部102と接続されており、Eメール(電子メール)送受信,ネットワークファイル送信,FAX送受信が可能である。
制御部102は、ROM108,CPU109,RAM110,およびメモリ(記憶装置)111を備えている。
ROM108は、ブートローダ(ブートプログラム)を含むプログラム,フォント,およびその他の固定データを記憶保持している読み出し専用メモリである。
CPU109は、当該MFP100全体の制御を司る中央処理装置である。
RAM110は、CPU109がデータ処理を行う際にワークメモリ等として使用する読み書き可能なメモリである。
メモリ111は、画像データや、OS(オペレーティングシステム),アプリケーション(アプリケーションプログラム)を含むプログラム等の各種データを記憶する不揮発性のメモリであり、例えばHDD(ハードディスク装置)あるいは半導体メモリを用いる。
ここで、CPU109は、当該MFPの電源投入時に、ROM108内のブートローダに従い、メモリ111内のOSを読み出し、それをRAM110にロードして展開した後、そのOSを起動させる。更に、メモリ111内のアプリケーション等の他のプログラムも必要に応じてRAM110にロードして展開する。そして、RAM110内のプログラムを必要に応じて実行し、操作部105を含む装置の制御を行うことにより、この発明に関わる機能であるページ決定手段,インデックス情報作成手段,情報埋め込み手段,情報分割手段,埋め込み可否判断手段,重要度指定手段,インデックス情報抽出手段,抽出ページ決定手段,埋め込み情報抽出手段,および抽出情報指定手段としての機能を実現することができる。
次に、図1に示したMFPにおけるこの発明に関わる処理の異なる実施例について、図2〜図8の各図面も参照して具体的に説明する。
〔第1実施例〕
この第1実施例では、入力画像である文書画像(図面画像等の他の画像でもよい)に埋め込み情報(後述する)を透かし情報として埋め込み、その文書画像の出力(印刷,送信,又は保存)を行う過程において、埋め込み対象の文書画像が複数ページからなる時に、埋め込み情報(透かし情報)とそれを埋め込むページとの関連を示すインデックス情報を作成し、それを文書画像の所定ページである先頭ページ(最終ページ等の他ページでもよい)に埋め込む処理の手順について、説明する。なお、出力すべき文書画像および埋め込み情報は、メモリ111に記憶保持(保存)されているものとするが、出力すべき文書画像はスキャナ部104によって読み取ったり、受信I/F106から受け取るようにしても構わない。それについては、第2,第3実施例でも同様とする。
その情報埋め込み処理の流れを、図2のフローチャートに示す。
図1のCPU109は、操作部105又は受信I/F106(実際にはこれに接続されているPC等の端末)からの指示(ユーザの操作によって発行される)によって印刷すべき文書画像(入力画像)と埋め込み情報を指定した後、印刷指示がなされた時に、図2に示す処理ルーチンを開始し、まずステップS100の処理を行う。つまり、受信I/F106を介して、印刷指示された文書画像(入力画像)と埋め込み情報を取得する。
そして、その文書画像(印刷対象画像)のページ数NをステップS101でカウントし、ステップS102で埋め込み情報を埋め込む文書画像のページを決定する。このとき、文書画像の各ページへの埋め込み情報の埋め込みが可能か否かを判断し、埋め込みが不可能なページを除外する。
続いて、ステップS103へ進み、取得したページ数Nが予め定められたある閾値Th(但しTh>1とする)よりも大きいか否かを判定し、その判定がYESであれば、ステップS104へ移行する。
ステップS104では、埋め込み情報を文書画像の何ページ目に埋め込むかを示すインデックス情報を作成する。
次に、その作成したインデックス情報をステップS105で文書画像の1ページ目に埋め込み、ステップS106へ進む。
ステップS106では、ステップS102において決定した文書画像のページにステップS100で取得済みの埋め込み情報を埋め込む。
ステップS103での判定がNoであれば、直ちにステップS106に移り、ステップS102において決定した文書画像のページにステップS100で取得済みの埋め込み情報のみを埋め込む。
このような画像処理(情報埋め込み処理)では、埋め込み情報とそれを埋め込む文書画像のページとの関連を示すインデックス情報を作成することにより、特に総ページ数の多い文書画像に対して埋め込み情報の埋め込みを行った場合、インデックス情報を元に抽出したい埋め込み情報が埋め込まれているページを特定して、効率的に埋め込み情報を抽出することが可能となる。よって、ユーザの負担を軽減できる。
また、埋め込み情報の埋め込みが不可能なページを除外して、埋め込み情報を埋め込むことにより、その埋め込みによる画質劣化を必要最小限に抑えることができる。
〔第2実施例〕
この第2実施例では、第1実施例で説明した処理に加え、埋め込み対象の文書画像が複数ページからなる時に、埋め込み情報を意味のあるまとまりに分割し、その分割した各情報を文書画像の複数ページに分散して埋め込む処理の手順について、説明する。
その情報埋め込み処理の流れを、図3のフローチャートに示す。
図1のCPU109は、操作部105又は受信I/F106からの指示によって印刷すべき文書画像と埋め込み情報を指定した後、印刷指示がなされた時に、図3に示す処理ルーチンを開始し、まずステップS200の処理を行う。つまり、受信I/F106を介して、印刷指示された文書画像と埋め込み情報を取得する。
そして、その文書画像(印刷対象画像)のページ数NをステップS201でカウントし、ステップS202でその取得したページ数Nが予め定められたある閾値Th(但しTh>1とする)よりも大きいか否かを判定する。
そして、その判定がYESであれば、ステップS203で埋め込み情報を意味のあるまとまりに分割し、ステップS204でその分割した各情報(分割情報)をそれぞれ埋め込む文書画像の各ページを決定する。このとき、文書画像の各ページへの分割情報の埋め込みが可能か否かを判断し、埋め込みが不可能なページを除外する。
続いて、ステップS205で文書画像の何ページ目にどの分割情報を埋め込むかを示すインデックス情報を作成し、そのインデックス情報をステップS206で文書画像の1ページ目に埋め込み、ステップS207へ進む。
ステップS207では、ステップS204において決定した文書画像の各ページに、各分割情報(実際には各分割情報をそれぞれ識別するための識別IDをヘッダ部に付加したもの)を埋め込む。
ステップS202の判定がNoであれば、ステップS208で埋め込み情報を埋め込む文書画像のページを決定し、ステップS207でその文書画像のページにステップS200で取得済みの埋め込み情報のみを埋め込む。
このように、埋め込み情報(透かし情報)を分割して文書画像の複数ページにそれぞれ埋め込むことにより、文書画像に対してより多くの埋め込み情報を埋め込むことが可能となる。
また、分割情報の埋め込みが不可能なページを除外して、分割情報を埋め込むことにより、その埋め込みによる画質劣化を必要最小限に抑えることができる。
〔第3実施例〕
この第3実施例では、第2実施例で説明した処理に加え、分割情報に対して重要度を指定し、その重要度情報に基づいて埋め込みページを決定する処理を含む情報埋め込み処理について、説明する。
その情報埋め込み処理の流れを、図4のフローチャートに示す。
図1のCPU109は、操作部105又は受信I/F106からの指示によって印刷すべき文書画像と埋め込み情報を指定した後、印刷指示がなされた時に、図4に示す処理ルーチンを開始し、ステップS300〜S303で図3によって説明したステップS200〜S203と同様の処理を順次行う。
続いて、図4のステップS304へ進み、意味のあるまとまりに分割した各情報(分割情報)についてそれぞれその重要度を判定する。
次に、ステップS305でその重要度に基づいて各分割情報をそれぞれ埋め込む文書画像の各ページを決定する。このとき、文書画像の各ページへの分割情報の埋め込みが可能か否かを判断し、埋め込みが不可能なページを除外する。
次に、ステップS306で文書画像の何ページ目にどの分割情報を埋め込むかを示すインデックス情報を作成し、そのインデックス情報をステップS307で文書画像の1ページ目に埋め込み、ステップS308へ進む。
ステップS308では、ステップS305において決定した文書画像の各ページに各分割情報(実際には各分割情報をそれぞれ識別するための識別IDをヘッダ部に付加したもの)を埋め込む。
ステップS302の判定がNoであれば、ステップS309で埋め込み情報を埋め込む文書画像のページを決定し、ステップS308でその文書画像のページにステップS300で取得済みの埋め込み情報のみを埋め込む。
ここで、各分割情報(埋め込み情報)としては、例えばユーザIDや作成年月日などがあるが、それらの重要度レベルを、CPU109が操作部105又は受信I/F106(実際にはこれに接続されているPC等の端末)からの指示により、予め指定することができる。
また、重要度のレベルに応じて分割情報を埋め込むページを決定する方法として、例えば重要度が高い分割情報を抽出エラー率の低いページに優先的に埋め込む方法が考えられる。
図5に、その概要を示す。
図5の(a)に示す表は、抽出エラー率とページNoとの対応表であり、抽出エラー率の低い順に上から並んでいる。一方、同図の(b)に示す表は、重要度と識別コード(識別ID)および分割情報(埋め込み情報)に関する対応表であり、重要度の高い順に上から並んでいる。この2つの表の対応関係から、エラー率の低いページから順に重要度の高い分割情報を埋め込むことにより、重要な分割情報をより確実に保持することが可能となる。
なお、エラー率の最も高いページへは分割情報の埋め込みが失敗する可能性が高いため、文書画像の各ページへの分割情報の埋め込みが可能か否かを判断する際に、エラー率の最も高いページを埋め込みが不可能なページと判断し、そのページを埋め込み用のページから除外するとよい。図5の(a)(b)に示す表のデータは、図1のメモリ111に記憶保持されている。
上記エラー率の判定方法は、埋め込み情報の埋め込み処理手法により異なるが、例えばその埋め込み処理手法の1つとして、文字輪郭等のエッジ領域に「0」「1」のパターン化された情報を埋め込む方法を用いた場合、一般に埋め込まれるパターンの数が多いほど耐性は強くなる傾向があるため、抽出エラー率として、この埋め込みパターン数を用いることも可能である。しかし、ページ決定方法やエラー率算出方法は、これらに限られるものではなく、必要に応じて多様な手法を採用することができる。
このように、各分割情報(埋め込み情報)の重要度を予め指定することにより、画質および耐性面で良好な埋め込み,抽出処理を行うことが可能となる。
また、分割情報抽出時のエラー率の低い(抽出時に情報抽出に成功する可能性の高い)ページを判定して、そのページに分割情報を重要度の高いものから優先的に埋め込むことにより、分割情報抽出処理の負荷が軽減され、高速化を図ることが可能となる。
なお、同じ分割情報を複数ページに繰り返し埋め込むように、分割情報の埋め込みを行うページを決定することもできる。それにより、分割情報の耐性を高めることが可能になる。
〔第4実施例〕
この第4実施例では、インデックス情報を用いて埋め込み情報の抽出を行う処理について、図6〜図8のフローチャートを用いて説明する。なお、ここでは、スキャナ部104からの原稿の文書画像に対する処理について説明するが、受信I/F106又はメモリ111からの文書画像に対しても同様な処理を行うことは可能である。
図6のフローチャートは、スキャナ部104から1ページ目の原稿の文書画像を読み込む時の処理手順を示すものである。
図7のフローチャートは、スキャナ部104から2ページ目以降の原稿の文書画像を読み込む時の処理手順を示すものである。
図1のCPU109は、スキャナ部104に複数ページ(複数枚)の原稿がセットされた状態で操作部105又は受信I/F106から印刷指示がなされた時に、図6に示す処理ルーチンを開始し、まずステップS400でスキャナ部104によって1ページ(1枚)目の原稿の画像を読み込む。ここでは、スキャナ部104をオート・ドキュメント・フィーダタイプのものとする。よって、原稿台上からまず1ページ目の文書原稿を自動給送することにより、その原稿の文書画像を読み取ることができる。なお、両面に文書画像がある原稿を原稿台にセットする場合には、原稿の一方の面が奇数ページ(1,3,…,N)、他方の面が偶数ページ(2,4,…,N+1)となるため、両面モードを設定することにより、原稿の奇数ページの文書画像を読み取った後、反転機構を用いて原稿を反転させ、偶数ページの文書画像を読み取ることができる。
CPU109は、次にステップS401で読み込んだ1ページ目の原稿の文書画像にインデックス情報が埋め込まれているか否かを判定し、その判定がYesならばステップS402で読み込んだ文書画像からインデックス情報を抽出して、それをステップS403でメモリ111に保存した後、2ページ目以降の原稿に対する図7の(a)に示す処理ルーチンに移る。ステップS401での判定がNoならば、そのまま図7の(b)に示す処理ルーチンへ移る。
CPU109は、図7の(a)に示す処理ルーチンを開始すると、まずステップS404でスキャナ部104によって2ページ目の原稿の文書画像を読み込み、ステップS405でその読み込んだ文書画像に埋め込み情報が埋め込まれているかをメモリ111に保存してあるインデックス情報に基づいて判定する。
そして、その判定がYesならば、ステップS406で2ページ目の原稿から読み込んだ文書画像から埋め込み情報を抽出する処理を行う。ステップS405での判定がNoならば、2ページ目の原稿から読み込んだ文書画像からは埋め込み情報の抽出を行わず、次の3ページ目以降の原稿に対する処理ルーチンに移る。つまり、図7の(a)に示す処理ルーチンを再開する。
図6のステップS401での判定がNoならば、CPU109は図7の(b)に示す処理ルーチンを開始し、2ページ目以降、全ページの原稿から文書画像を読み込み、埋め込み情報の抽出処理を行う(ステップS407,S408)。
なお、第4実施例では、スキャナ部104から原稿の文書画像を読み込む時に埋め込み情報の抽出処理を行うことを想定して説明したが、スキャナ部104によって読み込んだ原稿の文書画像を一度メモリ111に蓄積し、その蓄積した文書画像から埋め込み情報を抽出するようにしても良い。
また、抽出したい埋め込み情報を操作部105又は受信I/F106からの指示により予め指定することにより、インデックス情報から抽出の必要なページを限定することが可能となる。
その場合の処理の一部は、図8に示すフローチャートの通りとなる。
図1のCPU109は、図6のステップS403で抽出したインデックス情報をメモリ111に保存した後、図8に示す処理ルーチンへ移る。
CPU109は、図8に示す処理ルーチンを開始すると、まずステップS409でスキャナ部104によって2ページ目の原稿の文書画像を読み込み、ステップS410でその読み込んだ文書画像に埋め込み情報が埋め込まれているかをメモリ111に保存してあるインデックス情報に基づいて判定する。
そして、その判定がYesならば、ステップS411へ進み、該当する埋め込み情報(2ページ目の原稿から読み込んだ文書画像に埋め込まれている埋め込み情報)が抽出すべき埋め込み情報か否かを指定情報(予め指定された抽出したい埋め込み情報を示す情報)とメモリ111に保存してあるインデックス情報とに基づいて判定する。
そして、その判定がYesならば、ステップS412で2ページ目の原稿から読み込んだ文書画像から埋め込み情報を抽出する処理を行う。ステップS410での判定がNoであるか、ステップS411での判定がNoであれば、2ページ目の原稿から読み込んだ文書画像からは埋め込み情報の抽出を行わず、次の3ページ目以降の原稿に対する処理ルーチンに移る。
このように、抽出したい埋め込み情報のあるページを指定情報とインデックス情報とから判定し、そのページに限定して埋め込み情報の抽出処理を行うことにより、高速かつ高精度に埋め込み情報を抽出することができる。
以上、この発明をMFPに適用した実施形態について説明したが、この発明はこれに限らず、デジタル複写機,ファクシミリ装置,プリンタ等の他の画像形成装置には勿論、画像読取装置,PC等の各種画像処理装置に適用可能である。
〔この実施形態におけるプログラム〕
このプログラムは、MFP等の画像処理装置を制御するCPU(コンピュータ)に、この発明に関わる機能であるページ決定手段,インデックス情報作成手段,情報埋め込み手段,情報分割手段,埋め込み可否判断手段,重要度指定手段,インデックス情報抽出手段,抽出ページ決定手段,埋め込み情報抽出手段,および抽出情報指定手段としての機能を実現させるためのプログラムであり、このようなプログラムをCPUに実行させることにより、上述したような効果を得ることができる。
このようなプログラムは、はじめからROMあるいはHDD等の記憶手段に格納しておいてもよいが、記録媒体であるCD−ROMあるいはフレキシブルディスク,MO,CD−R,CD−RW,DVD+R,DVD+RW,DVD−R,DVD−RW,又はDVD−RAMや、EEPROM、メモリカード等の不揮発性記録媒体(メモリ)に記録して提供することもできる。その不揮発性記録媒体に記録されたプログラムを画像処理装置にインストールしてCPUに実行させるか、CPUにその不揮発性記録媒体からこのプログラムを読み出して実行させることにより、上述した各手順を実行させることができる。
さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部機器あるいはプログラムを記憶手段に記憶した外部機器からダウンロードして実行させることも可能である。
なお、「ページ決定手段」を「所定箇所決定手段」として、埋め込み情報を埋め込む入力画像(文書画像)の所在箇所を決定するようにするなど、各手段等における「ページ」を「所在箇所」に置き換える(但し「所定ページ」は「所定画像」に置き換える)ことも考えられる。「所在箇所」としては、「ページ」の他、「入力画像の保存場所」又は「入力画像を出力した出力機器の情報」等がある。
以上の説明から明らかなように、この発明によれば、入力画像に対する情報の埋め込みや抽出を効率的に行えるため、ユーザの負担を軽減することができる。したがって、利便性の高い画像処理装置を提供することができる。
この発明の一実施形態であるMFPの構成例を示すブロック図である。 図1のCPU109による情報埋め込み処理の第1例を示すフロー図である。 同じく情報埋め込み処理の第2例を示すフロー図である。 同じく情報埋め込み処理の第3例を示すフロー図である。 図1のメモリ111に記憶保持されているデータの一部を説明するための図である。
図1のCPU109による情報抽出処理のうちの1ページ目の原稿に対する処理の第1例を示すフロー図である。 図1のCPU109による情報抽出処理のうちの2ページ目以降の原稿に対する処理の第1例を示すフロー図である。 同じく情報抽出処理のうちの2ページ目以降の原稿に対する処理の第2例を示すフロー図である。
符号の説明
101:画像形成部 102:制御部 103:フィニッシャ
104:スキャナ部 105:操作部 106:複数の受信I/F
107:複数の送信I/F 108:ROM 109:CPU 110:RAM
111:メモリ(記憶装置)

Claims (19)

  1. 画像入力手段からの入力画像を処理する画像処理装置であって、
    埋め込み情報を埋め込む前記入力画像のページを決定するページ決定手段と、
    前記埋め込み情報と前記ページ決定手段によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成手段と、
    前記埋め込み情報を前記ページ決定手段によって決定したページに埋め込むと共に、前記インデックス作成手段によって作成したインデックス情報を前記入力画像の所定ページに埋め込む情報埋め込み手段とを設けたことを特徴とする画像処理装置。
  2. 請求項1記載の画像処理装置において、
    前記埋め込み情報を意味のあるまとまりに分割する情報分割手段を設け、
    前記ページ決定手段は、前記情報分割手段によって分割した各情報を埋め込む前記入力画像のページを決定する手段であることを特徴とする画像処理装置。
  3. 請求項1又は2記載の画像処理装置において、
    前記入力画像に前記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否判断手段を設けたことを特徴とする画像処理装置。
  4. 請求項2記載の画像処理装置において、
    前記情報分割手段によって分割される各情報の重要度を指定する重要度指定手段を設けたことを特徴とする画像処理装置。
  5. 画像入力手段からの入力画像を処理する画像処理装置であって、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出手段と、
    該インデックス情報抽出手段によって抽出した前記インデックス情報に基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定手段と、
    該抽出ページ決定手段によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出手段とを設けたことを特徴とする画像処理装置。
  6. 画像入力手段から入力される画像を処理する画像処理装置であって、
    抽出する埋め込み情報を指定する抽出情報指定手段と、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出手段と、
    前記抽出情報指定手段による指定情報と前記インデックス情報抽出手段によって抽出した前記インデックス情報とに基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定手段と、
    該抽出ページ決定手段によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出手段とを設けたことを特徴とする画像処理装置。
  7. 画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、
    埋め込み情報を埋め込む前記入力画像のページを決定するページ決定工程と、
    前記埋め込み情報と前記ページ決定工程によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成工程と、
    前記埋め込み情報を前記ページ決定工程によって決定したページに埋め込むと共に、前記インデックス作成工程によって作成したインデックス情報を前記入力画像の所定ページに埋め込む情報埋め込み工程とからなることを特徴とする画像処理方法。
  8. 請求項7記載の画像処理方法において、
    前記埋め込み情報を意味のあるまとまりに分割する情報分割工程を有し、
    前記ページ決定工程では、前記情報分割工程によって分割した各情報を埋め込む前記入力画像のページを決定することを特徴とする画像処理方法。
  9. 請求項7又は8記載の画像処理方法において、
    前記入力画像に前記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否判断工程を有することを特徴とする画像処理方法。
  10. 請求項8記載の画像処理方法において、
    前記情報分割工程よって分割される各情報の重要度を指定する重要度指定工程を有することを特徴とする画像処理方法。
  11. 画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出工程と、
    該インデックス情報抽出工程によって抽出した前記インデックス情報に基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定工程と、
    該抽出ページ決定工程によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出工程とからなることを特徴とする画像処理方法。
  12. 画像入力手段からの入力画像を処理する画像処理装置における画像処理方法であって、
    抽出する埋め込み情報を指定する抽出情報指定工程と、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出工程と、
    前記抽出情報指定工程による指定情報と前記インデックス情報抽出工程によって抽出した前記インデックス情報とに基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定工程と、
    該抽出ページ決定手段によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出工程とからなることを特徴とする画像処理方法。
  13. 画像入力手段からの入力画像を処理する画像処理装置を制御するコンピュータに、
    埋め込み情報を埋め込む前記入力画像のページを決定するページ決定機能と、
    前記埋め込み情報と前記ページ決定機能によって決定したページとの関連を示すインデックス情報を作成するインデックス情報作成機能と、
    前記埋め込み情報を前記ページ決定機能によって決定したページに埋め込むと共に、前記インデックス作成機能によって作成したインデックス情報を前記入力画像の所定ページに埋め込む情報埋め込み機能とを実現させるためのプログラム。
  14. 請求項13記載のプログラムにおいて、
    前記コンピュータに、
    前記埋め込み情報を意味のあるまとまりに分割する情報分割機能をも実現させるためのプログラムであり、
    前記ページ決定機能は、前記情報分割機能によって分割した各情報を埋め込む前記入力画像のページを決定することを特徴とするプログラム。
  15. 請求項13又は14記載のプログラムにおいて、
    前記コンピュータに、
    前記入力画像に前記埋め込み情報の埋め込みが可能か否かを判断する埋め込み可否機能をも実現させるためのプログラム。
  16. 請求項14記載のプログラムにおいて、
    前記コンピュータに、
    前記情報分割機能によって分割される各情報の重要度を指定する重要度指定機能をも実現させるためのプログラム。
  17. 画像入力機能からの入力画像を処理する画像処理装置を制御するコンピュータに、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出機能と、
    該インデックス情報抽出機能によって抽出した前記インデックス情報に基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定機能と、
    該抽出ページ決定機能によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出機能とを実現させるためのプログラム。
  18. 画像入力機能から入力される画像を処理する画像処理装置を制御するコンピュータに、
    抽出する埋め込み情報を指定する抽出情報指定機能と、
    埋め込み情報と該埋め込み情報が埋め込まれているページとの関連を示すインデックス情報を前記入力画像の所定ページから抽出するインデックス情報抽出機能と、
    前記抽出情報指定機能による指定情報と前記インデックス情報抽出機能によって抽出した前記インデックス情報とに基づいて前記埋め込み情報を抽出する前記入力画像のページを決定する抽出ページ決定機能と、
    該抽出ページ決定機能によって決定したページから前記埋め込み情報を抽出する埋め込み情報抽出機能とを実現させるためのプログラム。
  19. 請求項13乃至18のいずれか一項に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007066665A 2007-03-15 2007-03-15 画像処理装置,画像処理方法,プログラム,および記録媒体 Expired - Fee Related JP4979417B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007066665A JP4979417B2 (ja) 2007-03-15 2007-03-15 画像処理装置,画像処理方法,プログラム,および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007066665A JP4979417B2 (ja) 2007-03-15 2007-03-15 画像処理装置,画像処理方法,プログラム,および記録媒体

Publications (2)

Publication Number Publication Date
JP2008228161A true JP2008228161A (ja) 2008-09-25
JP4979417B2 JP4979417B2 (ja) 2012-07-18

Family

ID=39846191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007066665A Expired - Fee Related JP4979417B2 (ja) 2007-03-15 2007-03-15 画像処理装置,画像処理方法,プログラム,および記録媒体

Country Status (1)

Country Link
JP (1) JP4979417B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229912A (ja) * 2007-03-16 2008-10-02 Ricoh Co Ltd 画像形成装置、及び画像形成方法
JP2011071959A (ja) * 2009-08-28 2011-04-07 Brother Industries Ltd 印刷装置、画像読取装置および印刷システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122470A (ja) * 1997-10-14 1999-04-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JPH11168616A (ja) * 1997-12-03 1999-06-22 Toshiba Corp 画像情報処理方法および画像情報処理装置
JP2000295454A (ja) * 1999-04-05 2000-10-20 Hitachi Ltd 電子透かし装置及び方法並びに記録媒体
JP2001186331A (ja) * 2000-11-07 2001-07-06 Fuji Xerox Co Ltd 符号化装置及び復号化装置
JP2004236227A (ja) * 2003-01-31 2004-08-19 Ricoh Co Ltd 情報処理装置、情報処理用プログラム及び記憶媒体
JP2004274631A (ja) * 2003-03-11 2004-09-30 Ricoh Co Ltd 画像処理装置、方法および記録媒体
JP2004282708A (ja) * 2003-02-28 2004-10-07 Fuji Photo Film Co Ltd 印刷物生成装置および方法、情報検出装置および方法並びにプログラム
JP2006203787A (ja) * 2005-01-24 2006-08-03 Toshiba Corp 画像処理装置、画像処理方法および記録物

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122470A (ja) * 1997-10-14 1999-04-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JPH11168616A (ja) * 1997-12-03 1999-06-22 Toshiba Corp 画像情報処理方法および画像情報処理装置
JP2000295454A (ja) * 1999-04-05 2000-10-20 Hitachi Ltd 電子透かし装置及び方法並びに記録媒体
JP2001186331A (ja) * 2000-11-07 2001-07-06 Fuji Xerox Co Ltd 符号化装置及び復号化装置
JP2004236227A (ja) * 2003-01-31 2004-08-19 Ricoh Co Ltd 情報処理装置、情報処理用プログラム及び記憶媒体
JP2004282708A (ja) * 2003-02-28 2004-10-07 Fuji Photo Film Co Ltd 印刷物生成装置および方法、情報検出装置および方法並びにプログラム
JP2004274631A (ja) * 2003-03-11 2004-09-30 Ricoh Co Ltd 画像処理装置、方法および記録媒体
JP2006203787A (ja) * 2005-01-24 2006-08-03 Toshiba Corp 画像処理装置、画像処理方法および記録物

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229912A (ja) * 2007-03-16 2008-10-02 Ricoh Co Ltd 画像形成装置、及び画像形成方法
JP2011071959A (ja) * 2009-08-28 2011-04-07 Brother Industries Ltd 印刷装置、画像読取装置および印刷システム
US9094557B2 (en) 2009-08-28 2015-07-28 Brother Kogyo Kabushiki Kaisha Print system for placing restrictions on the use of scanned data

Also Published As

Publication number Publication date
JP4979417B2 (ja) 2012-07-18

Similar Documents

Publication Publication Date Title
JP4321572B2 (ja) 画像形成装置
JP4151724B2 (ja) 画像処理装置および画像処理プログラム
US8537426B2 (en) Image processing method, image processing apparatus, and computer-readable storage medium for computer program for generating an integrated duplicate by printing images of a plurality of documents on a single sheet of recording paper or a plurality of continuously-fed sheets of recording paper
US8315424B2 (en) Image processing apparatus, image processing method, and program product
JP2007336508A (ja) 画像複写装置及び画像処理システム
JP2008205903A (ja) 画像処理装置、プレビュー画像表示方法およびプレビュー画像表示プログラム
JP2006270441A (ja) ログデータ記録装置、ログデータ記録方法及びログデータ記録プログラム
AU2009212993B2 (en) Document processing system, search apparatus, information searching method, document processing method and program
JP2012191252A (ja) 2次元コードを検出可能な装置
JP2009037539A (ja) 情報処理装置、プリフライト方法及びプログラム
JP4979417B2 (ja) 画像処理装置,画像処理方法,プログラム,および記録媒体
US8134751B2 (en) Systems and methods for previewing copy protected documents
JP4965996B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体
US11029829B2 (en) Information processing apparatus and method for display control based on magnification
JP2007081854A (ja) 画像形成装置、画像形成方法、および画像形成プログラム
JP4498371B2 (ja) 画像処理装置および画像処理装置の制御方法
JP2009083382A (ja) 画像形成装置および画像処理プログラム
US20060170952A1 (en) Image processing apparatus and method
JP2008205559A (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP4591208B2 (ja) 画像形成装置
JP2006294030A (ja) 一つの文書に複数の個別の出力プロパティを適用する文書処理システム、方法およびプログラム
JP4173028B2 (ja) 印刷属性設定装置、印刷属性設定方法及び印刷属性設定用プログラム
JP2012039629A (ja) 二次元コードを復号化する装置、二次元コードを復号化する装置の制御方法、およびプログラム
JP4847565B2 (ja) 複写物を作成する装置、複写物を作成する装置の制御方法、およびプログラム
JP2010046985A (ja) 印刷装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4979417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees