JP2007207184A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2007207184A
JP2007207184A JP2006028830A JP2006028830A JP2007207184A JP 2007207184 A JP2007207184 A JP 2007207184A JP 2006028830 A JP2006028830 A JP 2006028830A JP 2006028830 A JP2006028830 A JP 2006028830A JP 2007207184 A JP2007207184 A JP 2007207184A
Authority
JP
Japan
Prior art keywords
image data
correction
area
original image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006028830A
Other languages
English (en)
Inventor
正嗣 ▲高▼口
Masatsugu Takaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2006028830A priority Critical patent/JP2007207184A/ja
Priority to US11/474,791 priority patent/US20070183001A1/en
Publication of JP2007207184A publication Critical patent/JP2007207184A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40093Modification of content of picture, e.g. retouching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】原稿画像に施された修正領域を検出し、この修正領域が視覚上確認しやすいように表示することのできる画像データの処理を行う。
【解決手段】
取得した原稿画像データに所定のガンマ補正を行い、階調が低階調であるほどより低階調となる画像データを生成する。この画像データを所定の領域毎に分割し、分割した領域中に含まれる白画素の割合が閾値以上である場合にその分割した領域を修正領域として検出し、この検出した修正領域の画像データ上における座標データに基づいて、修正領域である修正テープ痕Sdの階調が下地領域の階調と異なる階調に変換された原稿画像データを生成する。
【選択図】図12

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に係り、特に、読取り原稿の画像データから修正痕を検出し、この修正痕部分を認識可能に可能する画像処理装置、画像処理方法、プログラム及び記録媒体に関する。
業務上使用するレポート、企画書、報告書及び各種のデータベース等の書類が電子化されるのが一般的となってきている。従来からの紙媒体による管理よりも物理的に簡便であり、コスト削減や環境問題の一助になるとして注目されている。
その一方、依然として紙媒体による保管や管理が行われているものもある。各種契約書、領収書及び各種公文書等である。途中修正や改ざんが行われた場合に判別が困難であるとして電子化に馴染まない面があり、また、各種関係法令が紙媒体による保管や管理を要請するものでもある。
そこで、このような途中修正や改ざんを電子データ上で防止する技術として、特許文献1には、画像の特徴情報を予め印刷物に埋め込んでおき、この印刷物をスキャナ等で読み込んだ際に特徴情報と実際の原稿画像データとを比較判定して修正や改ざんがあったか否かを判定する発明が開示されている。
特開2003−264685号公報
しかしながら、特許文献1に記載される発明は、予め印刷物に特徴情報を埋め込む必要がある。即ち、原稿の上下左右の端部等に原稿内容と同様の内容を示すようにパターン化されたパターンブロックを予め印画する。判定部は、埋め込み情報抽出部によりパターンブロックから抽出される内容と元画像とを比較することにより原稿内容の改ざんを検出する。このように、パターンブロックを予め埋め込むという手順が必要であるが、元画像によってはパターンブロックを埋め込むスペースがない場合もあり、適用が困難な応用分野も想定される。
また、パターンブロックを修正テープや修正剤で修正又は改ざん(以下、「修正等」又は単に「修正」という。)し、その後コピーを行った場合、コピー原稿からは修正等を行った領域を判別することができないという問題もある。
さらには、日本国においては近年の法律改正により、従来紙媒体での保管や管理が義務付けられていた契約書、領収書、公文書等が、一部を除き電子文書化することが認められることとなった(いわゆるe−文書法=「民間事業者等が行う書面の保存等における情報通信技術の利用に関する法律」、「民間事業者等が行う書面の保存等における情報通信の技術の利用に関する法律の施行に伴う関係法律の整備等に関する法律」:いずれも2005年4月1日施行)。この法律の中では、作成・保存した文書を表示・印刷でき、内容が確認できるとするいわゆる「見読性」と、保存義務期間中に文書の改ざん等がされないこと及び改ざんされたことが確認できるとするいわゆる「完全性」といった用件が含まれている。
スキャナ等の読取り装置で原稿を電子文書化する前に、修正テープや修正剤等で原稿に修正等を行うと、画像データ上でこの修正等領域を検出できない虞がある。即ち、記録紙の白色度と修正テープ等との白色度が近似している場合は、画像データ上(及び視覚上)で判別できず、修正等が行われたことを確認することができないという問題がある。特に、読み取って得た画像データに下地除去処置が施される場合、修正等は識別不可能となることが殆どである。
本発明は、上記課題を解決するために行われたものであり、その目的とするところは、原稿画像に施された修正等箇所を検出し、この修正領域が視覚上確認しやすいように強調して表示することのできる画像データを生成し出力することである。
上記課題を解決するために、請求項1に記載の発明は、画像処理装置であって、
原稿画像を読み取とって得られた元画像データの階調レベルに基づいて前記原稿画像の修正領域を検出し、修正領域を識別可能に加工した画像データを生成する画像処理部を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の画像処理装置であって、
前記画像処理部は、前記修正領域を検出する検出部と、前記識別可能な加工を行う強調処理部と、を備えることを特徴とする。
請求項3に記載の発明は、請求項2に記載の画像処理装置であって、
前記検出部は、前記元画像データの下地領域の階調レベルに基づいて前記画像データの修正領域を検出することを特徴とする。
請求個4に記載の発明は、請求項2又は3に記載の画像処理装置であって、
前記検出部は、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする。
請求項5に記載の発明は、請求項2から4のいずれか一項に記載の画像処理装置であって、前記画像処理部は、
前記元画像データに対し、高階調側において階調差を強調する階調補正処理を行う階調補正処理部を更に備え、
前記検出部は、前記補正処理部により変換された画像データに基づいて前記元画像データの修正領域を検出することを特徴とする。
請求項6に記載の発明は、請求項2から5のいずれか一項に記載の画像処理装置であって、前記強調処理部は、前記元画像データの修正領域を前記下地領域の階調レベルと異なる階調レベルに変換することを特徴とする。
請求項7に記載の発明は、請求項2から6のいずれか一項に記載の画像処理装置であって、前記強調処理部で変換された画像データを所定形式のファイルデータに変換するファイル変換部を更に備えることを特徴とする。
請求項8に記載の発明は、請求項1から7のいずれか一項に記載の画像処理装置であって、前記画像処理部は、中央処理部及び当該中央処理部が実行するプログラムを格納する記憶部を備え、前記画像処理部で実行される処理は前記中央処理部が前記プログラムを実行することによって実現されることを特徴とする。
請求項9に記載の発明は、請求項2から8のいずれか一項に記載の画像処理装置であって、前記強調処理部による変換を行うか否かを設定する設定部を更に備えたことを特徴とする。
請求項10に記載の発明は、画像処理方法であって、原稿画像を読み取って得られた元画像データの階調レベルに基づいて前記元画像データの修正領域を検出するステップと、
前記元画像データの修正領域を識別可能に加工した画像データを生成するステップと、を有することを特徴とする。
請求項11に記載の発明は、請求項10に記載の画像処理方法であって、
前記検出ステップにおいて、前記元画像データの最も高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする。
請求項12に記載の発明は、請求項10又は11に記載の画像処理方法であって、
前記検出ステップにおいて、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする。
請求項13に記載の発明は、請求項10から12のいずれか一項に記載の画像処理方法であって、
前記元画像データに対し高階調側において階調差を強調する階調補正処理を行うステップを更に有し、
前記検出ステップにおいて、前記階調補正処理により得られた画像データの階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする。
請求項14に記載の発明は、請求項10から13のいずれか一項に記載の画像処理方法であって、前記生成ステップにおいて、前記元画像データの修正領域を前記下地領域の階調レベルと異なる階調レベルに変換することを特徴とする。
請求項15に記載の発明は、請求項10から14のいずれか一項に記載の画像処理方法であって、前記生成ステップで生成された画像データを所定形式のファイルデータに変換するステップを更に含むことを特徴とする。
請求項16に記載の発明は、請求項10から15のいずれか一項に記載の画像処理方法であって、前記生成ステップによる画像データの生成を行うか否かを設定するステップを更に含むことを特徴とする。
請求項17に記載の発明は、プログラムであって、画像処理装置を制御するコンピュータに、
原稿画像を読み取って得られた元画像データの階調レベルに基づいて前記元画像データの修正領域を検出する検出機能と、
前記元画像データの修正領域を認識可能に加工した画像データを生成する強調処理機能と、を実現させることを特徴とする。
請求項18に記載の発明は、請求項17に記載のプログラムであって、
前記検出機能で、前記元画像データの高い階調レベルに基づいて前記元画像データの修正領域を検出する機能を実現させることを特徴とする。
請求項19に記載の発明は、請求項17又は18に記載のプログラムであって、
前記検出機能で、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出する機能を更に実現させることを特徴とする。
請求項20に記載の発明は、請求項17から19のいずれか一項に記載のプログラムであって、
前記元画像データの階調レベルを、高階調側において階調差を強調する階調補正処理を行う機能を更に実現させ、
前記検出機能で、前記階調補正処理が行われた画像データの階調レベルに基づいて前記元画像データの修正領域を検出する機能を実現させる。
請求項21に記載の発明は、請求項17から20のいずれか一項に記載のプログラムであって、前記強調処理機能で、前記修正領域を前記下地領域の階調レベルと異なる階調レベルに変換する機能を実現する。
請求項22に記載の発明は、請求項17から21のいずれか一項に記載のプログラムであって、前記強調処理機能で出力された画像データから所定形式のファイルデータを生成するファイル変換機能を更に実現させることを特徴とする。
請求項23に記載の発明は、請求項17から22のいずれか一項に記載のプログラムであって、前記強調処理機能による変換を行うか否かを設定する設定機能を更に実現することを特徴とする。
請求項24に記載の発明は、コンピュータ読取り可能な記録媒体であって、請求項17から23のいずれか一項に記載のプログラムを記録することを特徴とする。
請求項1、2、10及び17に記載の発明によれば、
原稿画像を読み取って得られた元画像データに対し、階調レベルに基づいてその修正領域を検出することができ、この検出した修正領域を識別可能に加工することで、修正領域が強調された画像データを生成し出力することができる。例えば、原稿画像に修正テープや修正剤等で修正や改ざんが行われており、この原稿画像を画像読取り部で読み込んだ場合、画像の濃度値に基づいて、修正テープや修正剤で修正や改ざんが行われた領域を検出することができる。更に、この検出した修正や改ざんが行われた領域を異なる識別可能に加工した画像データを生成することで、元画像データをモニタに表示する場合やプリンタで印刷した場合に視覚的に修正領域を認識することができるという効果がある。
請求項3、11及び18に記載の発明によれば、
元画像データの最も高い階調レベルに基づいて修正領域を検出するため、画像データのうち最も明るい領域を修正領域として検出することができる。原稿画像に貼付又は塗布された修正テープや修正剤は白色であり、その明るさは原稿画像中で最も明るいものとなる傾向がある。従って、検出部が最も高い階調レベルに基づいて検出することで、修正テープや修正剤が貼付又は塗布された部分を修正領域として検出できるという効果がある。
請求項4、12及び19に記載の発明によれば、
元画像データの下地領域の階調レベルより高い階調レベルに基づいて修正領域を検出するため、より確実に原稿画像中の修正テープや修正剤により修正や改ざんが行われた領域を検出することができる。即ち、修正テープや修正剤の白色度は、原稿の下地部分(記録紙)の白色度より高い傾向にある。従って、修正テープや修正剤で修正又は改ざんが行われた領域を修正領域として精度高く検出できるという効果がある。
請求項5、13及び20に記載の発明によれば、
この高階調側において階調レベルの差が強調された画像データに基づいて修正領域の検出を行うことで、白色部分(修正テープや修正剤で修正又は改ざんが行われた領域)の検出をより確実に行うことができる。
請求項6、14及び21に記載の発明によれば、
検出した修正領域を下地領域の階調レベルと異なる階調レベルに変換した画像データを生成することができる。即ち、下地領域と近似する階調となる傾向にある修正テープや修正剤が貼付又は塗布された領域を、下地領域と異なる階調に変換することで、画像データをモニタ上に表示したり、プリンタで印画した場合に、修正等が施された領域を視覚的に強調して表示するという効果がある。
請求項7、15及び22に記載の発明によれば、
修正領域が認識可能に加工された画像データを所定形式のファイルデータに変換することで、出力先のファイルデータに合わせて変換することができる。これにより、修正領域が強調された原稿画像データを他の電子機器に出力する際の汎用性が向上するという効果がある。
請求項8に記載の発明によれば、請求項1から7に記載の発明において、中央制御部が記憶部に格納されたプログラムを実行することにより、画像処理部で実行される処理を実行することができる。
請求項9、16及び23に記載の発明によれば、
修正領域を認識可能に加工する処理を行うか否かを設定する設定部を更に設けることで、通常の画像処理機能と修正領域強調処理機能とを適宜選択して使用することができる。
請求項24に記載の発明によれば、
請求項17から23に記載の発明の効果を奏するプログラムを、コンピュータ読取り可能な記録媒体に格納することができる。
次に、図を用いて本発明を実施するための最良の形態について説明する。
図1のブロック図に、本発明を適用した読取り装置1の概要構成を示す。読取り装置1は、原稿に光を照射し、この光のうち原稿から反射される光を光電変換素子により捉え電子画像データとして取得する民生用のスキャナを適用する。
読取り装置1は、CPU(Central Processing Unit)10、ROM(Read Only Memory)11、RAM(Randome Access Memory)12、記憶部13、画像読取り部14、操作表示部15、外部出入力I/F(Inter/Face)部16から構成され、これらがメインバス18により電気・電子的に接続されている。また、読取り装置1は、図2に示す如く、プリンタ2と一体に形成し複写機3の一部として構成することも可能であるし、USBケーブル8を通じてPC(Personal Computer)4と通信可能に接続し、制御系をPC4が担う構成とすることも当然に可能である。本実施の形態では、複写機3の一部として構成し、制御系を読取り装置1に設け、更に、PC4からの操作入力を可能とし、ネットワークNを介してクライアントPC5、メールサーバ6、FTP(File Transfer Protcol)サーバ7に、読み取った原稿画像データを送信することができるように構成された読取り装置を適用するものとする。
図1において、CPU10は、ROM11や記憶部13に予め記憶されたオペレーションプログラムやアプリケーションプログラムを読み出し、ワークエリアとしてのRAM12に展開して種々の処理を行い、読取り装置1の全体制御を行う。具体的には、ROM11又は記憶部13に予め記憶されたオペレーションプログラムやアプリケーションプログラムである修正領域強調プログラムを読み出し、修正テープを使用したり、修正紙等を貼付したりするなどして原稿の修正や改ざんを行った修正等領域(以下、単に「修正領域」という。)を検出し、この検出した修正領域を視覚的識別可能に強調した原稿画像データを作成する「修正領域強調処理」を行う。
「修正領域強調処理」では、主に「領域判定処理」と「修正領域強調データ作成処理」が行われる。
「領域判定処理」とは、原稿画像データ中の最も高い階調レベルを有する領域、その中でも特に原稿の下地部分の階調レベルより高いレベルを有する領域を自動検出する処理である。
「修正領域強調データ作成処理」とは、「領域判定処理」で検出した修正領域階調レベルを変更し、画像読取り部14から取得した原稿画像のデータ上で修正領域が視覚的に強調された修正領域強調画像データを生成する処理である。
ここで、階調レベルとはピクセル単位での階調を意味するものとする。例えば、白色は階調のレベルが高く、黒色は階調のレベルが低いものを意味することとする。
「領域判定処理」及び「修正領域強調画像データ作成処理」の具体的処理については後述する。
図1に戻り、ROM11は、不揮発性の半導体素子で構成される読み出し専用のメモリである。オペレーションプログラムや各種アプリケーションプログラム等が予め記憶される。RAM12は、SRAM(Static RAM)やDRAM(Dynamic RAM)等の揮発性の半導体素子で構成される随時読み出し/書き込み可能メモリであり、ワークエリアとして機能する。
記憶部13は、ハードディスクや不揮発メモリであるフラッシュメモリ等から構成される。アプリケーションプログラムが予め記憶されたり、画像読取り部14で読み取った原稿画像データや「修正領域強調画像データ作成処理」で生成された修正領域強調画像データがファイルデータとして記憶されたりする。
画像読取り部14は、読取り原稿に対し光を照射し、反射される光をCCD(Charge Coupled Dvice)イメージセンサやCMOS(Complementary Metal−Oxide Semiconductor)イメージセンサ等の光電変換素子で捉え、捉えたアナログの電気信号から図示しないA/D変換器で多値のデジタル信号に変換しCPU10に出力するものである。本実施の形態では、反射される光を集束するレンズ系を使用する縮小光学系方式やロッドレンズアレイを使用する密着光学系方式等の方式を適用することができる。
外部出入力I/F部16は、USBケーブル8を介してPC4等との通信(読取り装置1の操作指示信号の受信や読み込んだ画像データ等の送信)を制御したり、NIC(Network Inter/Face Card)等を介してLAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)又はインターネット等のネットワークNと接続され、クライアントPC5、メールサーバ6及びFPTサーバ7と外部通信(読取り装置1の操作指示信号の受信や読み込んだ画像データ等の送信)を制御したりするものである。
操作表示部15は、LCD(Liquid Crystal Display)等から構成される表示モニタであり、読取り装置1の各種情報(設定項目や処理の経過等)を表示する表示部である。また、表示画面がタッチパネルで構成され、画像データの解像度、原稿画像のサイズ、カラー/モノクロ読取りの選択、片面/両面読込みの選択、修正領域強調処理の選択等の各種設定を入力することができるようになっている。
図3に、操作表示部15の表示画面の一例を示す。表示画面には、読み取りを行った画像データや修正領域強調処理により生成された修正領域強調画像データを格納するファイルのファイル形式の設定を表示するファイル形式選択部30、原稿画像を読み取る解像度の設定を表示する解像度選択部31、画像読取り部14での片面のみの読込み又は両面の読込みの設定を表示する片面/両面選択部32、修正領域強調処理の実行又は不実行の設定を表示する修正領域強調処理選択部33、原稿のサイズや読取り領域の設定を表示する読取りサイズ選択部34及びカラーでの読取り又はモノクロでの読取りの設定を表示するカラー/モノクロ読取り選択部35が表示される。各選択部30、31、32、33、34及び35には、押下を繰り返すことにより設定及び設定の表示が変化する設定釦40、41、42、43、44及び45が設けられている。なお、図3ではデフォルト(初期状態)での設定を示しており、ファイル形式として「PDF(Portable Document Format)」、解像度として「400dpi」、片面/両面の読込みの設定として「片面」、修正領域強調処理の設定として「強調(実行する)」、読取りサイズとして「A4」及びカラー/モノクロ読取りの設定として「カラー」が表示されている様を示している。
次に、読取り装置1の動作及び「修正領域強調処理」について図4、図5及び図6に示すフロー図、図9、図10、図11及び図12に示す原稿画像データの遷移を示した模式図及び図7及び図8に示すガンマ値の変位を示すグラフを用いて説明する。なお、以下に示す各種の処理はプログラムに従いCPU10により処理されるものである。
また、画像読取り部14で読み取る原稿画像は、例えば、図9に示すように、白色の記録紙に『2006年 1月 13日』と記された画像を使用するものとし、このうち『2006年 1月 日』が特定のフォントで印画され、『13』の部分が修正等が行われた箇所等である。修正等箇所は修正テープが貼付されその上に手書きで『13』の文字が追記されたものとする。記録紙の白色度は80%とし、修正テープの白色度はそれより高い(例えば、90%)ものとする。
先ず、ステップS101で、ユーザが操作表示部15を介して、原稿画像の読取り設定が行われる。例えば、図3に示すように各項目が設定され、OK釦50が押下されると、CPU10はRAM12に各読取り設定項目を記憶する。
ステップS102で、CPU10は、ユーザの操作に基づいて生成される読取り開始指示信号に基づいて、画像読取り部14で原稿画像の読取りを行う。
ステップS103で、CPU10は、ステップS101でRAM12に記憶した設定項目を参照し、修正領域強調処理のモードが設定されているか否かを判断する。修正領域強調処理モードが設定されている場合は、ステップS104に進む(ステップS103:YES)。修正領域強調処理モードが設定されていない場合は、ステップS105に進む。
以下、修正領域強調処理について説明する。図5において、ステップS201で、CPU10は画像読取り部14で取得したアナログの画像信号から、デジタイズされた多値画像データとしての原稿画像データを生成する処理を行う。この生成した原稿画像データに基づいてモニタへ表示し、印刷時に印画される態様を示したものが図9である。図9において、記録紙と修正テープ痕Saとの境は、修正テープ痕Saの外縁部分でかろうじて認識することができるかあるいは視覚的には全く区別がつかない状態となる。特に、記録紙や修正テープの白色度が高い場合は、視覚的に全く認識することができないのが通常である(図9では、簡単のために修正テープ痕Saと記録紙との外延部分を2点鎖線で若干表現している。)。
ステップS202で、CPU10は原稿画像データにガンマ補正を行い、下地領域と修正領域との階調差が強調された画像データである、修正領域検出用画像データ61を生成する(図10参照)。ここで、「修正領域強調処理」において実行されるガンマ補正を、「修正領域強調処理」を行わない場合に行うガンマ補正と比較しながら説明を行う。
図7は、読取り装置1で「修正領域強調処理」を行わない場合に行うガンマ補正の特性を示したグラフである。図7において、ガンマ曲線G1は、入力した原稿画像データのうち全階調に亘り高階調データ側にシフトすることを意味し、低階調レベル側ではシフト量が大きく、高階調レベル側ではシフト量が小さい。即ち、一般に記録紙の下地領域は高階調(白色又は階調の高い灰色等)であり、その上に印画される画像(文字等)は低階調(黒色又は階調の低い灰色若しくは青色等)である。階調の高い画像データの階調をより高くすることで下地除去が行われ、画像のコントラスト比が増加して視覚的に美しく且つ読みやすいメリハリのついた表現を行うためである。
しかしながら、図9に示すように、修正テープ痕Saと記録紙とではもともと階調に差が生じにくいため、ガンマ補正を行わない段階であっても画像データ上あるいは視覚上その区別は困難である。また、図7のガンマ曲線G1が適用された画像データは、修正テープ痕Saと記録紙とでは、より階調差が小さくなるため、画像データ上あるいは視覚上その区別は困難である。そこで、ステップS202では、図8のガンマ補正曲線G2が示すような特性に基づいてガンマ補正を行い、高階調レベル側の画像データ間における階調差に幅を持たせるようにする。図8に示すガンマ特性に基づいて変換された原稿画像データにより表現される画像を図10に模式的に示す。図10において、記録紙の下地領域Bは低階調(薄い灰色等)に表現される。これに対し修正テープ痕Sbは下地領域に比して高階調で表現される。即ち、画像データ上も階調値に差が生じて下地領域と修正領域との判別をより容易に行うことができるようになる。
ステップS203で、CPU10は、「領域判定処理」を行い、修正領域の判定を行う。図6に示す「領域判定処理」のフロー図において、ステップS301で、CPU10は、ステップS202で生成した修正領域検出用画像データ61(図10参照)を特定の領域に分割する領域分割処理を行う。領域分割処理では、ピクセル毎の色差を検出することにより行う。
ここで、色差とは、2つの色があった場合にその色の差を数値的に表したものである。L***表色系では、ある2つの色を測色計で測定した場合、例えば、色の明るさ(L* )、色相(a*、b*)の3値が算出される。そして、以下の数式1に示すように、各色のL*、a*、b*の差(それぞれ、ΔL* 、Δa*、Δb*とする)を2乗したものを加えて、平方根をとったものが一般的に色差(ΔEab)と呼ばれる。同様に、Lab表色系では色の明るさ(L)、色相(a、b)の3値が算出される。そして、以下の数式2に示すように、各色のL、a、bの差(それぞれ、ΔL、Δa、Δbとする)を2乗したものを加えて、平方根をとったものが一般的に色差(ΔE)と呼ばれる。
Figure 2007207184
Figure 2007207184
即ち、隣り合うピクセルの色差を算出することにより、同程度の色差を有するピクセルの連続を検出することができ、このように同程度の色差を有するピクセルの連続を特定の領域として夫々分割する。色差の程度は、一般に下記表1に示すように区別される。
Figure 2007207184
隣接するピクセルの色差について、上記表1に示すような所定の程度を閾値とすることで、領域の分割を行うことができる。本実施の形態では、予めステップS202(図5参照)で修正領域検出用画像データ生成処理を行い、高階調データと低階調データとの色差の幅が大きくなっている。このため、なるべく色差の程度が小さい程度(例えば、NBS単位で2.5等)を閾値とするのが好ましい。この場合、色差の程度が少ない場合でもより精度よく分割することができる。特に、本実施の形態のように、下地領域Bの白色度(80%)と修正テープの白色度(90%)とが近似し色差の程度が少ない場合には、両者を区別するのに効果的である。
次いで、ステップS302で、CPU10は、ステップS301で分割した領域の面積(同一領域に占めるピックセルデータの数)が特定の面積(特定のピクセル数)以上であるか否かを判別する。即ち、一般に修正テープ乃至液状の修正剤で修正を行うときは、文字単位、行単位若しくは文字の一部分を修正するように行われる。従って、修正部分はある程度の面積をもった領域(複数ピクセル)となる。このため修正を行うと考えられる最低面積、例えば、日本語であれば、ひら仮名等の「゛」(濁点)の点一つ分に占める面積(ピクセル数)を閾値面積(閾値ピクセル数)として、分割領域が修正領域であるか否かの判別を行う。
ステップS302で、CPU10が分割領域の面積(分割領域に占めるピクセル数)が閾値面積(閾値ピクセル数)以上であると判断する場合は、ステップS303の処理に進む(ステップS302:YES)。逆に、CPU10が、分割領域の面積(分割領域に占めるピクセル数)が閾値面積(閾値ピクセル数)未満であると判断する場合は、ステップS305の処理に進む。
ステップS303で、CPU10は、分割領域に占める白画素の割合が閾値以上であるか否かを更に判断する。即ち、CPU10は、分割領域に存在する各ピクセルデータのうちRGBの階調データ(RGBの各階調値が255、255、255に近い値)に基づいて当該ピクセルが白画素であるか否かを判断し、分割領域に占める白画素と判別するピクセルデータが白画素閾値(例えば、白画素と判断されるピクセル数が80%)以上であるか否かを判断する。
ステップS302までの処理で選別された分割領域は、閾値面積以上であることを示すが、当該面積は、夫々種々の同程度の階調(黒から白)を有するピクセルの集合である。従って、当該分割領域の白階調を判別して修正領域であるか否かを判別する。
ステップS303の判断で、CPU10は、分割領域の白画素の割合が白画素閾値(白画像と判断されるピクセル数が80%)以上であると判断する場合はステップS304の処理に進む(ステップS303:YES)。逆に、CPU10は、分割領域の白画素の割合が白画素閾値未満であると判断する場合は、ステップS305の処理に進む。
ステップS304で、CPU10は、修正領域であると判別した分割領域の、画像データ上における座標データを抽出し、修正領域として認識する。図11に、全ての位置座標を抽出した場合に表わすことができる修正領域を模式的に示す。修正テープ痕Scを修正領域として認識することができる。
その後、ステップS305で、CPU10は、全ての分割領域についての判定を行った否かを判断し、全ての分割領域について判断を行った場合は、修正領域強調処理のステップS204に戻る。CPU10は、未だ判断を行っていない分割領域がある場合は、ステップS302に戻り、残りの分割領域について判断を行う。
なお、CPU10は、ステップS302:NO、ステップS303:NOの場合も、ステップS305の処理に進み、同様に判断を行う。
図5に示す修正領域強調処理に戻り、ステップS204で、CPU10は、上述の領域判定処理におけるステップS304で抽出した修正領域の原稿画像データ上において位置する座標データに基づいて、原稿画像データ上での座標データに該当するピクセルの階調を変化させる修正領域強調画像データ作成処理を行う。図12に、修正領域である修正テープ痕Sdが強調して表現された原稿画像データのイメージを模式的に示す。なお、ステップS204における修正領域である修正テープ痕Sdの階調の変化とは、他の色に変換すること及び単に明度値を変換することの両方を含む。好ましくは、原稿画像の下地部分及び印画された画像に使用されている色及び明るさと異なる色及び/又は明るさに変換するのがよい。また、これに代え、この修正領域を枠で囲むことで強調してもよく、修正領域を認識可能とする範囲内で種々の変形が可能である。
以上のステップS201からS204までの修正領域強調処理(ステップS301からS305までの領域判定処理を含む)を経た後、CPU10は、図4に示すフロー図のステップS105に進む。
ステップS105で、CPU10は、ステップS204の修正領域強調画像データ作成処理によって修正テープ痕Sdの階調変換が行われた原稿画像データに対して、色差の程度が近似するピクセルデータ同士を同程度の色差を有するピクセルデータに変換し、下地領域と画像領域の区別が明確になった視覚上メリハリのある画像データを生成する最終的な画像処理を行う。
ステップS106で、CPU10は、予め設定された所定のファイル形式(例えば、PDF、GIF)に基づいて、ステップS105で最終的な画像処理が施された原稿画像データを所定形式のファイルに変換する処理を行う。
ステップS107で、CPU10は、ステップS106で生成されたファイルデータを記憶部13に記憶したり、外部出入力I/F部16を介してPC4、ネットワークN又はプリンタ2(図1及び図2参照)に出力したりする出力処理を行う。
以上、本実施形態の読取り装置1によれば、読み取った原稿画像データに対し、ガンマ補正曲線G2を適用することにより、高階調側においてより階調差が強調された画像データを生成することができる。このため特定の面積の分割領域において、高階調データからなる修正領域をより確実に判定することができる。さらに、この修正領域を下地領域等と異なる階調の画像データに変換し、原稿画像データ上で修正領域を視覚的に認識可能に強調した画像データを生成し出力することができる。この結果、修正領域の強調がなされた原稿画像データに基づいてモニタ上に表示ヲ行ったり、プリンタで印画を行った場合に、修正領域が一目で判別できるようになるという効果がある。
また、修正領域の強調がなされた原稿画像データを所定のファイル形式に変換することができ、種々のファイル形式で保存することができるとともに、ケーブルやネットワークを介して他の端末等にデータを送信する場合に簡便に原稿画像データを送信することができる。
また、修正領域の強調処理を行うか否かを設定することができるため、強調処理を行わない場合は通常の読取り装置として使用することができ汎用性に優れるという効果がある。
なお、本発明を実施するための最良の形態について説明したが、これら実施の形態は例を示すことを目的として開示したものであり、本発明は上述の種々の例に限定されるものではなく、本発明に係る技術思想の範囲内で多様な改良、変更、付加等が可能である。特に、本実施の形態では、記録紙及び修正テープ等の白色度に基づいて修正領域を判定する処理構成としたが、白色度に代えて、記録紙及び修正テープの光沢度の違いに基づいて修正領域を判別する構成としてもよい。
また、本実施の形態では、修正領域強調処理(図6参照)のステップS202で、CPU10が、画像読取り部14から取得した原稿画像データに対してガンマ補正を行い、階調側においてより階調差が強調された画像データを生成する処理を行っているが、原稿と修正テープ等の白色度に著しい差がある場合は、このようなガンマ補正を行わなくても修正領域を判別できることはいうまでもない。例えば、原稿が新聞や雑誌に使用される基材やわら半紙等の白色度が55%程度のものであり、修正テープの白色度が90%である場合等は、読み取った原稿画像データ自体で既に白色度の差が著しい場合が多い。このような場合は、ガンマ補正を行わなくても修正領域を自動判定することが可能であり、工程を省力する分の処理負担及び処理時間を軽減することができるという効果がある。
また、領域判定処理(図11参照)のステップS301及びS302で、ピクセル毎の色差情報に基づいて領域分割を行い、この分割された領域が特定面積を以上であるか否かの判断を行う処理構成としているが、これ以外に、以下のように処理構成することもできる。即ち、CPU10は、領域を分割せずに、全てのピクセル毎に白画素閾値を判断してこの閾値以上のピクセルが原稿画像データ上で占める位置座標を抽出する。その後、CPU10は、抽出した位置座標に基づき、ピクセルが特定面積以上に連続する領域を修正領域として判別する処理構成としても良い。このような処理構成とすることで領域分割処理を省略する分の処理負担及び処理時間を軽減することができるという効果がある。
更に、上記実施形態には、以下の構成の発明も含まれる。
即ち、原稿画像を読み取って得られた元画像データから、当該元画像データ中の背景領域と修正領域とを識別可能に加工した画像データを生成する画像処理部を備えた画像処理装置という構成も含まれる。
この構成によれば、修正領域と背景領域とは識別可能に加工されるため、修正ペンや修正テープによって元原稿中の記載内容が単に消去された場合であっても、その消去領域としての修正領域は背景領域と認識可能となる。原稿画像中のフォント種によって修正、改ざんを検出する手法の場合、単なる消去といった修正、改ざんには対処できないが、この構成では単なる消去といった修正、改ざんにも対処できる点で優れた効果を奏する。
本発明を実施するための最良の形態における読取り装置の機能構成を示したブロック図である。 図1に示す読取り装置の外部接続環境の例を示した模式図である。 図1に示す読取り装置の操作表示部の読取り設定画面の例を示した模式図である。 図1に示す読取り装置の処理手順を示したフロー図である。 図1に示す読取り装置の修正領域強調処理の処理手順を示したフロー図である。 図1に示す読取り装置の領域判定処理の処理手順を示した模式図である。 図1に示す読取り装置で修正領域強調処理を行わない場合のガンマ補正におけるガンマ特性を模式的に示したグラフである。 図1に示す読取り装置で修正領域強調処理を行う場合のガンマ補正におけるガンマ特性を模式的に示したグラフである。 図1に示す読取り装置で画像読取り部から読み取った原稿画像データを模式的に示した図である。 図1に示す読取り装置で、修正領域強調処理でのガンマ補正を行った場合の画像データを模式的に示した図である。 図1に示す読取り装置で、修正領域である修正テープ痕の領域のみを示した模式図である。 図1に示す読取り装置で、原稿画像データ上に修正領域である修正テープ痕が階調変換された画像データを模式的に示した図である。
符号の説明
1 読取り装置
2 プリンタ
3 複写機
4、5 PC
6 メールサーバ
7 FTPサーバ
8 USBケーブル
10 CPU
11 ROM
12 RAM
13 記憶部
14 画像読取り部
15 操作表示部
16 外部出入力I/F部
30 ファイル形式選択部
31 解像度選択部
32 片面/両面選択部
33 修正領域強調処理選択部
34 読取りサイズ選択部
35 カラー/モノクロ選択部
40、41、42、43、44、45 設定釦
50 OK釦
51 キャンセル釦
60 原稿画像データ
61 修正領域検出用画像データ
63 修正領域強調処理後原稿画像データ
Sa、Sb、Sc、Sd 修正テープ痕
B 下地領域

Claims (24)

  1. 原稿画像を読み取とって得られた元画像データの階調レベルに基づいて前記原稿画像の修正領域を検出し、
    修正領域を識別可能に加工した画像データを生成する画像処理部を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記画像処理部は、前記修正領域を検出する検出部と、前記識別可能な加工を行う強調処理部と、を備えることを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記検出部は、前記元画像データの下地領域の階調レベルに基づいて前記画像データの修正領域を検出することを特徴とする画像処理装置。
  4. 請求項2又は3に記載の画像処理装置であって、
    前記検出部は、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする画像処理装置。
  5. 請求項2から4のいずれか一項に記載の画像処理装置であって、
    前記画像処理部は、
    前記元画像データに対し、高階調側において階調差を強調する階調補正処理を行う階調補正処理部を更に備え、
    前記検出部は、前記補正処理部により変換された画像データに基づいて前記元画像データの修正領域を検出することを特徴とする画像処理装置。
  6. 請求項2から5のいずれか一項に記載の画像処理装置であって、
    前記強調処理部は、前記元画像データの修正領域を前記下地領域の階調レベルと異なる階調レベルに変換することを特徴とする画像処理装置。
  7. 請求項2から6のいずれか一項に記載の画像処理装置であって、
    前記強調処理部で変換された画像データを所定形式のファイルデータに変換するファイル変換部を更に備えることを特徴とする画像処理装置。
  8. 請求項1から7のいずれか一項に記載の画像処理装置であって、
    前記画像処理部は、中央処理部及び当該中央処理部が実行するプログラムを格納する記憶部を備え、前記画像処理部で実行される処理は前記中央処理部が前記プログラムを実行することによって実現されることを特徴とする画像処理装置。
  9. 請求項2から8のいずれか一項に記載の画像処理装置であって、
    前記強調処理部による変換を行うか否かを設定する設定部を更に備えたことを特徴とする画像処理装置。
  10. 原稿画像を読み取って得られた元画像データの階調レベルに基づいて前記元画像データの修正領域を検出するステップと、
    前記元画像データの修正領域を識別可能に加工した画像データを生成するステップと、を有することを特徴とする画像処理方法。
  11. 請求項10に記載の画像処理方法であって、
    前記検出ステップにおいて、前記元画像データの最も高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする画像処理方法。
  12. 請求項10又は11に記載の画像処理方法であって、
    前記検出ステップにおいて、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする画像処理方法。
  13. 請求項10から12のいずれか一項に記載の画像処理方法であって、
    前記元画像データに対し高階調側において階調差を強調する階調補正処理を行うステップを更に有し、
    前記検出ステップにおいて、前記階調補正処理により得られた画像データの階調レベルに基づいて前記元画像データの修正領域を検出することを特徴とする画像処理方法。
  14. 請求項10から13のいずれか一項に記載の画像処理方法であって、
    前記生成ステップにおいて、前記元画像データの修正領域を前記下地領域の階調レベルと異なる階調レベルに変換することを特徴とする画像処理方法。
  15. 請求項10から14のいずれか一項に記載の画像処理方法であって、
    前記生成ステップで生成された画像データを所定形式のファイルデータに変換するステップを更に含むことを特徴とする画像処理方法。
  16. 請求項10から15のいずれか一項に記載の画像処理方法であって、
    前記生成ステップによる画像データの生成を行うか否かを設定するステップを更に含むことを特徴とする画像処理方法。
  17. 画像処理装置を制御するコンピュータに、
    原稿画像を読み取って得られた元画像データの階調レベルに基づいて前記元画像データの修正領域を検出する検出機能と、
    前記元画像データの修正領域を認識可能に加工した画像データを生成する強調処理機能と、を実現させることを特徴とするプログラム。
  18. 請求項17に記載のプログラムであって、
    前記検出機能で、前記元画像データの高い階調レベルに基づいて前記元画像データの修正領域を検出する機能を実現させることを特徴とするプログラム。
  19. 請求項17又は18に記載のプログラムであって、
    前記検出機能で、前記元画像データの下地領域の階調レベルより高い階調レベルに基づいて前記元画像データの修正領域を検出する機能を更に実現させることを特徴とするプログラム。
  20. 請求項17から19のいずれか一項に記載のプログラムであって、
    前記元画像データの階調レベルを、高階調側において階調差を強調する階調補正処理を行う機能を更に実現させ、
    前記検出機能で、前記階調補正処理が行われた画像データの階調レベルに基づいて前記元画像データの修正領域を検出する機能を実現させるプログラム。
  21. 請求項17から20のいずれか一項に記載のプログラムであって、
    前記強調処理機能で、前記修正領域を前記下地領域の階調レベルと異なる階調レベルに変換する機能を実現するプログラム。
  22. 請求項17から21のいずれか一項に記載のプログラムであって、
    前記強調処理機能で出力された画像データから所定形式のファイルデータを生成するファイル変換機能を更に実現させることを特徴とするプログラム。
  23. 請求項17から22のいずれか一項に記載のプログラムであって、
    前記強調処理機能による変換を行うか否かを設定する設定機能を更に実現することを特徴とするプログラム。
  24. 請求項17から23のいずれか一項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006028830A 2006-02-06 2006-02-06 画像処理装置、画像処理方法、プログラム及び記録媒体 Pending JP2007207184A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006028830A JP2007207184A (ja) 2006-02-06 2006-02-06 画像処理装置、画像処理方法、プログラム及び記録媒体
US11/474,791 US20070183001A1 (en) 2006-02-06 2006-06-26 Image processing apparatus, image processing method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006028830A JP2007207184A (ja) 2006-02-06 2006-02-06 画像処理装置、画像処理方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2007207184A true JP2007207184A (ja) 2007-08-16

Family

ID=38333757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006028830A Pending JP2007207184A (ja) 2006-02-06 2006-02-06 画像処理装置、画像処理方法、プログラム及び記録媒体

Country Status (2)

Country Link
US (1) US20070183001A1 (ja)
JP (1) JP2007207184A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937566A (zh) * 2010-09-20 2011-01-05 西安电子科技大学 结合背景信息和最大后验边缘概率准则的sar图像分割方法
JP2011097201A (ja) * 2009-10-28 2011-05-12 Kyocera Mita Corp 画像処理装置
JP2016504615A (ja) * 2012-11-13 2016-02-12 クアルコム,インコーポレイテッド 拡張現実デバイスの電力性能を高めるための仮想オブジェクトディスプレイ特性の変更

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083338B2 (ja) * 2010-02-03 2012-11-28 ブラザー工業株式会社 画像読取装置
CN103116887A (zh) * 2013-02-01 2013-05-22 河南科技大学 基于概率序列的高精度红外图像数据转换方法
CN104200462B (zh) * 2014-08-04 2017-05-17 深圳市新良田科技股份有限公司 去除图文并茂文档中底色的方法
CN106408528A (zh) * 2016-08-31 2017-02-15 余姚市泗门印刷厂 基于伽马校正的灰度化处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236463A (ja) * 2000-02-23 2001-08-31 Hitachi Ltd 光学的文字読取装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636292C1 (en) * 1995-05-08 2002-06-18 Digimarc Corp Steganography methods employing embedded calibration data
JP2006261993A (ja) * 2005-03-16 2006-09-28 Toshiba Corp スキャナシステムおよびスキャン対象の修正箇所検出方法
JP2006262344A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 画像形成装置および画像形成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236463A (ja) * 2000-02-23 2001-08-31 Hitachi Ltd 光学的文字読取装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097201A (ja) * 2009-10-28 2011-05-12 Kyocera Mita Corp 画像処理装置
CN101937566A (zh) * 2010-09-20 2011-01-05 西安电子科技大学 结合背景信息和最大后验边缘概率准则的sar图像分割方法
JP2016504615A (ja) * 2012-11-13 2016-02-12 クアルコム,インコーポレイテッド 拡張現実デバイスの電力性能を高めるための仮想オブジェクトディスプレイ特性の変更

Also Published As

Publication number Publication date
US20070183001A1 (en) 2007-08-09

Similar Documents

Publication Publication Date Title
US20110090534A1 (en) Image processing apparatus, control method therefor, and program
JP2007207184A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4819723B2 (ja) 情報抽出装置、情報抽出方法、情報抽出プログラム及び記録媒体
KR20120132314A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
JP2009111980A (ja) 閉ループ処理における文書の真偽判定
US7529007B2 (en) Methods of identifying the type of a document to be scanned
US9858513B2 (en) Document file output apparatus, document file output method, and computer readable medium
US9338310B2 (en) Image processing apparatus and computer-readable medium for determining pixel value of a target area and converting the pixel value to a specified value of a target image data
JP4442651B2 (ja) 画像処理装置およびプログラム
US20150156371A1 (en) Image processing apparatus and method
JP4165435B2 (ja) 画像形成装置およびプログラム
US8577132B2 (en) Electronic document generation system, electronic document generation method, and program
JP4928998B2 (ja) 画像形成装置、及び画像形成方法
US8995009B2 (en) Image forming apparatus with fluorescent color recording portion
US7969618B2 (en) Image forming apparatus, image forming system, computer readable recording medium, and image forming method
JP5549836B2 (ja) 画像処理装置及び画像処理方法
JP4626565B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP6488182B2 (ja) 画像処理装置、画像形成装置および画像処理方法
US20120194883A1 (en) Character detection apparatus, character detection method, and computer-readable storage medium
JP2006258898A (ja) 画像形成装置および画像形成方法
US20100188670A1 (en) Image processing apparatus, image processing method and program executing the image processing method
JP6025803B2 (ja) 画像処理装置
JP6292061B2 (ja) 情報処理装置およびプログラム
JP2009060216A (ja) 画像処理装置及び画像処理プログラム
JP5464157B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301