JP2006085298A - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP2006085298A
JP2006085298A JP2004267518A JP2004267518A JP2006085298A JP 2006085298 A JP2006085298 A JP 2006085298A JP 2004267518 A JP2004267518 A JP 2004267518A JP 2004267518 A JP2004267518 A JP 2004267518A JP 2006085298 A JP2006085298 A JP 2006085298A
Authority
JP
Japan
Prior art keywords
image
input
image data
image quality
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004267518A
Other languages
English (en)
Other versions
JP4371965B2 (ja
Inventor
Hiroshi Tojo
洋 東條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004267518A priority Critical patent/JP4371965B2/ja
Priority to US11/223,986 priority patent/US7623259B2/en
Publication of JP2006085298A publication Critical patent/JP2006085298A/ja
Application granted granted Critical
Publication of JP4371965B2 publication Critical patent/JP4371965B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Storing Facsimile Image Data (AREA)

Abstract

【課題】 登録する文書の電子データをより高画質の電子データに適宜更新する為の技術を提供すること。
【解決手段】 既に登録されている画像データ群のうち、クエリとして入力した画像データに類似する画像データを検索し(S3190)、検索した画像のうち1つの画像データの画質が、入力した画像データの画質よりも低い場合には、入力した画像データを、この1つの画像データの代わりとして登録する(S3163)。
【選択図】 図3B

Description

本発明は、画像を管理するための技術に関するものである。
近年、作成済みの紙文書の再利用性を高めるために、紙文書をスキャナで読み取ることで電子データ化して管理しておき、その後、所望の文書の電子データを検索したり、検索して得られた電子データを印刷する等を可能とするシステムが提案されている。
これを実現するための方法として、例えば、特許文献1では以下のような技術が開示されている。即ち、紙文書をスキャンする事で得られるスキャン画像(電子データ)に対して文字認識を行って文字コード列を得、これを電子データと関連付けて記憶しておく。そして、検索条件として文書に含まれる文字コード列を入力すると、記憶された文字コード列とのマッチングを行うことで、所望の文書の電子データを検索する。
また、例えば、特許文献2では以下のような技術が開示されている。即ち、紙文書を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成する。これにより、別途、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読み込み、印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能となっている。
特公平07−097373号 特開2001−257862号
しかしながら、上記特許文献1、2に開示された技術では、紙文書を電子データとするのは登録時のみであるため、次のような問題が生じる。
紙文書は通常、コピーなどを行って配布されるため、同一内容で、かつ、画質が様々な文書が、分散して存在していることが多い。特に、過去に作成した紙文書では、その紙文書の原稿がどこにあるかわからなくなってしまっていることも多い。このような場合、配布された紙文書を用いて、上記画像処理システムを利用することになる。
配布資料では参照することが目的のため、画質は重視されないし、コピーが重ねられている場合が多い。また、プリンタなどから直接印刷されている場合でも、カラー原稿であっても、グレースケールで印刷されることも多い。更に、1枚の紙に1文書の2ページ分、4ページ分といったように、Nページ分の文書を1枚の紙にレイアウトして印刷されることも多い(以降、Nページ印刷と呼ぶ)。
また、複数の文書のページを一度に参照する必要があるときは、結合させて印刷する場合もあり得る(以降、結合印刷と呼ぶ)。
更に、印刷後に2つ折にして製本できるように、ページ番号が製本時の順に印刷される場合もあり得る(以降、製本印刷と呼ぶ)。
尚、以降、Nページ印刷、結合印刷、製本印刷等の1枚の紙にNページ分の文書をレイアウトして印刷する印刷を総称してNup印刷と呼ぶことにする。このようにNup印刷された場合は、1ページあたりの解像度は低いものになり、高画質とはいえない。
このような画質が低い紙文書を登録した場合は以下のような問題が生じる。
例えば、特許文献1に開示された技術では、文字認識の誤認識が発生しやすくなり、文書の登録数が増えるにつれて、他の文書との区別がつきにくくなるため、検索結果の候補が大量に得られることになり、ユーザは候補の中から改めて絞り込みをする作業を強いられることになる。
また、例えば、特許文献2に開示された技術では、印刷する際の画質は、登録時の文書の画質に依存する為、より高画質な印刷物を得たいとユーザが望んでも、実現できない。
上記問題点を解決するために従来の技術では、登録対象の紙文書を全て高画質なものに揃えるまで、登録作業を行わないようにする必要があった。しかし、これでは、高画質な紙文書を揃えるまで、上記画像処理システムを利用できなくなるという問題が発生する。また、別な解決方法としては、より高画質な紙文書が見つかった時点でそのつど、全文書について再登録する方法があるが、この方法はユーザへの負担が大きくなる。
本発明は上記の課題に鑑みてなされたものであり、登録する文書の電子データをより高画質の電子データに適宜更新する為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、
画像データを1以上保持する保持手段と、
クエリとしての画像データを入力する入力手段と、
前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに類似する画像データを検索する検索手段と、
前記検索手段によって検索した画像データのうち1つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行う比較手段と、
前記入力手段によって入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データを、前記1つの画像データとして前記保持手段に格納する格納制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、画像データを1以上保持するメモリを保持する画像処理装置が行う画像処理方法であって、
クエリとしての画像データを入力する入力工程と、
前記メモリが保持する画像データ群のうち、前記入力工程で入力した画像データに類似する画像データを検索する検索工程と、
前記検索工程で検索した画像データのうち1つの画像データの画質と、前記入力工程で入力した画像データの画質との比較を行う比較工程と、
前記入力工程で入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力工程で入力した画像データを、前記1つの画像データとして前記メモリに格納する格納制御工程と
を備えることを特徴とする。
本発明の構成により、登録する文書の電子データをより高画質の電子データに適宜更新することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
[第1の実施形態]
図1は、本実施形態に係る画像処理システムの構成例を示す図である。
同図に示す構成の画像処理システムは、オフィス10とオフィス20とをインターネット等のネットワーク104で接続された環境で実現する。
オフィス10内に構築されたLAN107には、複数種類の機能を実現する複合機であるMFP(Multi Function Peripheral)100、MFP100を制御するマネージメントPC101、クライアントPC102、文書管理サーバ106a及びそのデータベース105a、及びプロキシサーバ103aが接続されている。
オフィス10内のLAN107及びオフィス20内のLAN108は、双方のオフィスのプロキシサーバ103a、103bを介してネットワーク104に接続されている。
MFP100は特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はLAN109を介してマネージメントPC101に送信することができる。
マネージメントPC101は、通常のPC(パーソナルコンピュータ)であり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はMFP100に一体化して構成されている。
尚、ネットワーク104は、典型的にはインターネットやLANやWANや電話回線、専用デジタル回線、ATMやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
また、マネージメントPC101、クライアントPC102、文書管理サーバ106a、106b等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等)を有している。
次に、MFP100について説明する。
図2は、MFP100の機能構成を示すブロック図である。
原稿台とオートドキュメントフィーダ(ADF)を含む画像読取部110は、束状のあるいは1枚の原稿を光源(不図示)で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度(例えば、600DPI)のラスタ画像として得る。このラスタ画像が、原稿から読み取った画像である。
また、MFP100は、画像読取信号に対応する画像を印刷部112で記録媒体に印刷する複写機能を有し、原稿を1つ複写する場合には、この画像読取信号をデータ処理部115で画像処理して記録信号を生成し、これを印刷部112に出力し、印刷部112は記録媒体上にこの記録信号に従った画像を形成(印刷)する。一方、原稿を複数複写する場合には、各ページ毎の記録信号を記憶部111に一旦記憶保持させた後、各ページの記録信号を印刷部112に順次出力し、印刷部112は、各ページ毎の記録信号に従った画像を記録媒体上に形成(印刷)する。
一方、クライアントPC102から出力される記録信号は、LAN107及びネットワークIF114を介してデータ処理部115が受信し、データ処理部115は、その記録信号を印刷部112で記録可能なラスターデータに変換した後、印刷部112によって記録媒体上に印刷させる。
操作者によるMFP100への指示は、MFP100に装備されたキー操作部とマネージメントPC101に接続されたキーボード及びマウスからなる入力部113を用いて行われ、これら一連の動作はデータ処理部115内の制御部(不図示)で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部116で行われる。
記憶部111は、マネージメントPC101からも制御され、MFP100とマネージメントPC101とのデータの送受信及び制御は、ネットワークIF117及びLAN109を介して行われる。
尚、MFP100では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部116及び入力部113によって実現している。
以下の説明では、MFP100の記憶部111に画像を登録する際にMFP100が行うべき処理、MFP100の記憶部111に登録した画像群のうち、クエリとして入力した画像に最も類似する画像を検索する際にMFP100が行うべき処理について説明する。
<登録処理>
図3Aは、紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をMFP100の記憶部111に登録する為の一連の処理のフローチャートである。
尚、同図のフローチャートに従った処理は、画像読取部110のADFに、スキャン対象の紙文書がセットされ、入力部113の登録ボタンが操作された時点で開始される。セットする紙文書の枚数は複数枚であっても良い。
まず操作者によって入力部113を用いて、これから入力する文書の数、及び各文書のページ数を入力するので、ステップS3000では、これらの入力された情報を一時的に記憶部111に格納する。このような情報を得ておくことで、スキャンにより得られる画像が、どの文書の何ページ目のものであるのかを特定することができる。
そして、「これから入力する文書の数」、及び「各文書のページ数」を示す情報を記憶部111に格納した後、画像読み取り部110は紙文書をスキャンして、この紙文書に印刷されている情報を画像(オリジナル文書)として読み取る。読み取った画像のデータはデータ処理部115によって、ガンマ補正などの画像処理によって補正され、補正後の画像データは一旦記憶部111にファイルとして格納される。スキャンする紙文書の枚数が複数枚である場合には、それぞれのページから読み取った画像のデータは、それぞれ別個のファイルとして記憶部111に格納される。
また、1枚の紙文書に複数ページが印刷されている場合もある(上記Nup印刷)。その場合、画像読み取り部110から得られる1枚の紙文書の画像データに対してデータ処理部115は、周知の技術により、それぞれのページの印刷領域を特定し、特定したそれぞれの領域内の画像を元の1枚の紙文書のサイズに拡大してから、記憶部111に格納する。即ち、1枚の紙文書内にNページが印刷されている場合には、N個の画像(Nページ分のスキャン画像)が記憶部111に格納されることになる。
ここで、記憶部111に画像を格納する際には、文書毎に固有のIDを発行し、記憶部111における画像データの格納アドレスとセットにして文書管理情報として記憶部111に格納する。
文書毎のIDの発行については先ず最初にIDには「1」を設定しておく。そして、画像読み取り部110は紙文書をスキャンしながらスキャン回数をカウントしており、カウント値がこの紙文書のページ数に達したらIDに1を加算して更新し、且つカウント値を1にリセットして同様の処理を繰り返す。これにより、各文書毎にIDを発行することができる。
また、「格納アドレス」とは、URLや、サーバ名とディレクトリ、ファイル名からなる、画像データの格納先を示すフルパス情報である。
また本実施形態では、画像データのファイル形式としてはBMP形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式(例えば、GIF、JPEG)であればどのようなものでも良い。
次に、ステップS3000でスキャンした1枚の紙文書毎に画質に関する各種の情報(以下、画質情報と呼称する場合がある)を入力部113を用いてユーザが入力するので、ステップS3010では、データ処理部115はこれを受け、一旦記憶部111に格納する。このときの入力部113が提供するユーザインターフェースについては後述する。
ここで、画質情報の具体例としては、紙文書の解像度(DPIで指定する)、紙文書のページレイアウト(Nup印刷かどうかなど)、紙文書の用紙のサイズ、紙文書が印刷されたときの倍率、紙文書の用紙の紙質、コピー回数(紙文書が本来のオリジナルから何回コピーされたものか?)、紙文書が印刷されたときの階調の設定、紙文書がカラー印刷されたものであるのか、グレースケール印刷されたものであるのか、等が挙げられる。
上記具体例が画質に関する情報である理由について述べる。
「紙文書が印刷されたときの解像度」が画質に関する情報であることの理由は、紙文書が高い解像度で印刷されている場合には当然、この紙文書をスキャンすることで得られる画像の画質は高いものとなることに起因する。従って、「紙文書が印刷されたときの解像度」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「ページレイアウト」が画質に関する情報であることの理由は、1枚の紙に複数ページの印刷を行うことで得られる紙文書をスキャンして得られる1つの画像中の各ページの画像よりも、1枚に1ページの情報を印刷することで得られる紙文書をスキャンして得られる画像の方が、1ページあたりの画質(解像度)は高いことに起因する。即ち、Nup印刷を行うことで得られる紙文書をスキャンして得られる画像中の各ページの画像は、上述の通り、拡大されて保存されるので、当然、画質は劣化する。従って、「ページレイアウト」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「用紙サイズ」が画質に関する情報であることの理由は、同じ内容を印刷するのに、印刷対象の用紙のサイズが小さいほど、印刷すべき文字や画像をより縮小しなくてはいけないため、印刷結果の紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「用紙サイズ」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「印刷時の倍率」が画質に関する情報であることの理由は、同じ内容を印刷するのに、等倍よりも低い倍率(1倍未満)で印刷すれば、印刷すべき文字や画像をより縮小しなくてはいけないため、印刷結果の紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「印刷時の倍率」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「紙質」が画質に関する情報であることの理由は、再生紙よりも上質紙に印刷したほうがスキャン画像の色の再現度が高くなるので、より高画質になることに起因する。従って、「紙質」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「コピー回数」が画質に関する情報であることの理由は、多くのコピーを行うことで得られた紙文書は、より少ないコピー回数で得られた紙文書に比べて、紙文書上に発生するノイズの量が多い為、多くのコピーを行うことで得られる紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「コピー回数」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「階調の設定」が画質に関する情報であることの理由は、同じ内容を印刷するのに、階調の設定が高いほど、特に写真部分については鮮明に表現できるので、印刷結果の紙文書をスキャンして得られる画像もまた、画質は高くなることに起因する。従って、「階調の設定」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
また、「カラー印刷か、もしくはモノクロ印刷か」が画質に関する情報であることの理由は、本来、カラー原稿として作成された文書ならば、カラー印刷である方が、オリジナルに忠実であるという意味で高画質であるので、印刷結果の紙文書をスキャンして得られる画像もまた、画質は高くなることに起因する。従って、「カラー印刷か、もしくはモノクロ印刷か」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
このように、ユーザは紙文書をスキャンする際には、この紙文書について、上述のような、画質に関する情報(上述の各画質情報のうち一部を入力するようにしても良い)を入力部113を用いて入力する。なお、画質情報についてはこれに限定するものではなく、様々なものが考えられる。
また、画質情報は上記のように画質に関する複数の情報を個々に指定することにより、後述する画質比較処理においてより詳細な判断を行うことができるのであるが、画質情報を入力する際のユーザの負担を軽減するために、画質を最も高い画質から最も低い画質までを段階で表現し、段階で指定するようにしてもよい。もちろん、このとき、最も簡単なのは、2段階で表現して高画質か否かを指定する方法である。
尚、画質情報が、画質に関する複数の情報からなる場合、全ての情報を指定する必要はなく、不明なものがあれば、No Informationとして指定しても構わない。このときは、後述する画質比較においては、No Informationでない情報を用いる。
以上の処理で、1枚の紙文書をスキャンすることで得られる画像に関する情報である、ID、ページ番号、画質情報、アドレスをまとめて「文書管理情報」として記憶する。
図4は、文書管理情報の構成例を示す図である。同図では2種類の紙文書(一方はID=1で特定される紙文書、他方はID=2で特定される紙文書)を登録した場合について示している。
同図の文書管理情報の場合、ID=1で特定される紙文書のページ数は1であり、1枚の紙に2ページの内容が印刷されたものであることが分かる。また、ID=2で特定される紙文書のページ数は2であり、各ページの紙に1ページの内容が印刷されたものであることが分かる。
同図の文書管理情報によると、ID=1で特定される紙文書をスキャンした結果得られる画像の画質に関する情報として、1枚には2ページの内容が印刷されており(2in1)、更にこの紙文書はカラー印刷されたものであり(カラー)、紙文書の用紙サイズはA4であり(A4)、紙文書の用紙の紙質は再生紙(再生紙)、1ページ目の画像の格納先のフルパスは「¥¥abc¥doc¥ship_p1.bmp」、2ページ目の画像の格納先のフルパスは「¥¥abc¥doc¥ship_p2.bmp」であることが分かる。
ID=2で特定されるスキャンした結果得られる1ページ目、2ページ目の画像の画質に関する情報についても同様に、文書管理情報を参照すれば得ることができる。
図3Aに戻って、ステップS3011では、ステップS3000で入力した文書の数を変数Pに格納する。ステップS3012では、現在処理中の文書のIDを示すための変数a、現在処理中のページに含まれているページに対するインデックスを示すための変数bに1を代入することで初期化する。
そしてステップS3013では、ステップS3000で入力された「各文書のページ数」を参照し、ID=aの文書のページ数を変数Qに格納する。例えば最初はa=1であるので、IDが1である文書のページ数が変数Qに格納される。
そしてステップS3014では、変数Pが格納する値と、変数aが格納する値とを比較し、P≧aである場合、即ち、全ての文書について以下説明する処理を行っていない場合には処理をステップS3015に進め、変数Qが格納する値と、変数bが格納する値とを比較し、Q≧bである場合、即ち、ID=aの文書の全てのページについて以下説明する処理を行っていない場合には処理をステップS3020に進め、ID=aの文書のbページ目のスキャン画像についてブロックセレクション処理(BS処理)を行う。この処理は、マネージメントPC101が備える不図示のCPUによって行われる。
具体的には、マネージメントPC101のCPUは先ず、記憶部111に格納された処理対象のラスタ画像(ID=aの文書のbページ目のスキャン画像)を読み出す。本処理を最初に行う場合にはa=b=1であるので、ID=1の1ページ目の画像を読み出すことになる。文書管理情報が図4に示したものであるとすると、「¥¥abc¥doc¥ship_p1.bmp」の格納位置に格納されている画像を読み出すことになる。
そして画像を読み出すと先ず、文字/線画部分とハーフトーン画像部分とに領域分割し、文字/線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックIDを発行し、各ブロックの属性(画像、文字等)、サイズやオリジナル文書内の位置(ページ内の座標)と各ブロックを関連付けて記憶部111にブロック情報として記憶する。
図5は、ブロック情報の構成例を示す図である。同図の例では、ID=1の文書の1ページ目は、3つのブロックに分割されており、例えばブロックID=1のブロックの属性は画像で、サイズは30画素×30画素、このブロックの左上隅の位置は、スキャン画像の左上隅の座標を(0,0)とすると(5,5)であることが分かる。
なお、ブロックセレクション処理について詳しくは後述する。
次に、ステップS3030で、上記CPUにおいて、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。
特に、文字ブロックについては、画像読み取り部110がOCR処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量を文書単位にまとめ、文書ID、ページ番号、ブロックIDに関連付けて記憶部111に特徴量情報として記憶する。
図6は、画像ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。図7は、文字ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。
特徴量の抽出処理について詳しくは後述する。
そして処理をステップS3031に進め、次のページを処理対象とすべく、変数bが保持する値を1つインクリメントし、処理をステップS3014に戻し、以降の処理を繰り返す。
なお、ステップS3015でQ<bである場合、即ち、ID=aの文書の全てのページについて処理を行った場合には、次のIDの文書を処理対象とすべく処理をステップS3032に進め、変数aが保持する値を1つインクリメントし、処理をステップS3014に戻し、以降の処理を繰り返す。
また、ステップS3014でP<aの場合、即ち、全ての文書について処理を行った場合には本処理を終了する。
以上の処理により、記憶部111に各文書の各ページの画像、及び各ページに関する情報とを登録することができる。なお、登録先については記憶部111に限定するものではなく、データベース105a、105bの何れかであっても良い。
<検索処理>
次に、上述のようにして記憶部111に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理について、同処理のフローチャートを示す図3Bを用いて以下、説明する。
以下の説明では、クエリとしての紙文書は、1ページ以上が印刷された1枚の紙文書であるとする。
先ず、ステップS3100では、画像読み取り部110によって、上記ステップS3000と同様にして、クエリとしての紙文書に印刷されている情報をスキャン画像として読み取る。
次にステップS3110では、クエリとしての紙文書についての画質情報を上記ステップS3010と同様にして入力する。
次に、ステップS3110で入力され、記憶部111に保持されている情報を参照し、クエリとしての紙文書をスキャンすることで得られた画像(以下、クエリ画像と呼称する場合がある)がNup印刷されたものであるのかを判定する。
Nup印刷されたものである場合(ステップS3111でYES)、処理をステップS3112に進め、変数Lに、ステップS3110で得た「1枚の紙文書に含まれているページ数」を格納する。
一方、Nup印刷されたものではない場合(ステップS3111でNO)、処理をステップS3115に進め、「1枚の紙文書に含まれているページ数は1」であるので、変数Lに1を格納する。
次に、ステップS3113で、クエリ画像に含まれている各ページに対するインデックスを示すための変数bに1を代入することで初期化する。そして処理をステップS3116に進め、変数Lが格納する値と、変数bが格納する値とを比較し、L≧bである場合、即ち、クエリ画像中の各ページについて以下説明する処理を行っていない場合には処理をステップS3120に進め、クエリ画像についてブロックセレクション処理(BS処理)を行う。
この時のブロックセレクション処理の具体例について、図8を用いて説明する。図8は、2ページ分をNup印刷したクエリ画像(2in1の紙文書をクエリとしてステップS3100で入力した場合に得られるクエリ画像)の例を示す図である。
同図において、810は1枚の紙全体の領域であり、811と812は各ページのページ画像を示している。813と814は各ページのページ番号である。ここで、b=1である場合、1ページ目のページ画像811を含む処理対象領域815に対してのみ、ブロックセレクション処理を行うことになる。そして、同図の例では、b=2の場合は、2ページ目のページ画像812を含む処理対象領域に対してブロックセレクション処理を行うことになる。
尚、このブロックセレクション処理自体は、ステップS3020のブロックセレクション処理と同様であるので説明は省略する。また、処理対象領域は、Lの値と、紙文書の向きに基づいて、1枚の紙文書をL個の領域に分割し、更に所定の処理順に基づいて決定される。
次に、ステップS3130で、各ブロックの特徴量を抽出する。この処理は、ステップS3030の処理と同様であるので説明は省略する。
次に、ステップS3140で、クエリ画像中のbページ目の画像に対する特徴量と、記憶部111に先に登録した各画像の特徴量とを比較して、クエリ画像中のbページ目の画像との類似度が所定値以上の画像を検索する処理を行う。即ち、記憶部111に先に登録した各画像のうち、クエリ画像中のbページ目の画像とある程度以上類似している画像を特定し、特定した画像を検索結果とする。この検索処理の詳細については後述する。
次に、ステップS3141で、クエリ画像中の次のページを処理対象とすべく、変数bが保持する値を1つインクリメントしてから処理をステップS3116に戻し、以降の処理を繰り返す。
そしてステップS3116で、L<bである場合、即ち、クエリ画像中の各ページについてステップS3120〜ステップS3140の処理を行った場合には処理をステップS3150に進め、ユーザ確認モードが設定されているのか否かを判断する。
ユーザ確認モードとは、ステップS3140における比較処理によって検索された1以上の画像を表示部116の表示画面上に表示することで操作者に確認させるためのモードである。この確認画面についての詳細は後述する。また、このモードは入力部113を用いて予め設定することができる。
そして、ユーザ確認モードが設定されている場合(ステップS3150でYES)、処理をステップS3160に進め、表示部116の表示画面上に、検索結果の1以上の画像のサムネイル画像を生成して表示し、その中から操作者に入力部113を用いて1つを選択させる。例えばクエリ画像中に2ページが含まれている場合には、1ページ目の画像に対する検索結果を1つ選択し、2ページ目の画像に対する検索結果を1つ選択することになる。
一方、ユーザ確認モードが設定されていない場合(ステップS3150でNO)、処理をステップS3190に進め、マネージメントPC101のCPUは、クエリ画像中の各ページについて、記憶部111に先に登録した各画像のうち最も類似する画像を1つずつ選択する。
ステップS3160、ステップS3190の何れかの処理を行った後、処理をステップS3161に進め、クエリ画像中の各ページについて、注目ページの画像と、注目ページの画像についてステップS3160、もしくはステップS3190で選択された画像とで、画質の比較を行う。画質の比較処理の詳細については後述する。
そしてクエリ画像中の注目ページ画像と、この注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像との画質比較の結果、注目ページ画像の方が画質が高いとステップS3162で判断した場合には処理をステップS3163に進め、記憶部111に登録されている「注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像」の格納アドレスを参照し、このアドレスに格納されているこの画像を削除した後に、注目ページ画像のデータをこの格納アドレスで特定される記憶エリアに登録する処理を行う。なお、注目ページ画像を登録する際には、上記登録処理と同様に、データ処理部115で前処理を施した後に記憶部111に保存する。また、この注目ページ画像に対してステップS3110で入力された画質情報を、注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像の画質情報の変わりに登録する。また、ブロック情報についても同様に注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像のブロック情報の代わりに登録する。
即ち、注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像、及びこの画像に係る情報の代わりに機能するように、注目ページ画像、及びこの注目ページ画像に係る情報を記憶部111に登録する処理を行う。よって、注目ページ画像、及びこの注目ページ画像に係る情報を、注目ページ画像についてステップS3160もしくはステップS3190で選択された画像、及びこの画像に係る情報の代わりに機能する目的で記憶部111に登録するのであれば、どのような登録処理を行っても良い。
以上の処理により、これまでに入力されたクエリ画像のうち、最も画質の良いものだけが記憶部111に登録されることになる。
次に、ステップS3170では、クエリ画像に対し、表示部106、入力部114で実現されるユーザインタフェースを介するユーザからの操作に基いて、印刷、配信、蓄積、編集のいずれかの処理を実行する。
また、注目ページ画像の方が画質が低いとステップS3162で判断した場合にはステップS3163における処理をスキップしてステップS3170に処理を進める。
<ブロックセレクション処理の詳細について>
ステップS3020、ステップS3120において行うブロックセレクション処理についてより詳細に説明すると、例えば、図9(a)に示すラスタ画像を、図9(b)に示すように、意味のあるブロック毎の塊として認識し、ブロック各々の属性(文字(TEXT)/図画(PICTURE)/写真(PHOTO)/線(LINE)/表(TABLE)等)を判定し、異なる属性を持つブロックに分割する処理である。図9は、ブロックセレクション処理を説明する図である。
そのための処理の一例としては先ず、画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が1に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
なお、ブロックセレクション処理については周知の技術であるので、これ以上の説明は省略する。
<画質情報の入力の詳細について>
ステップS3010、ステップS3110において画質情報を入力するために表示部116の表示画面上に表示されるユーザインターフェースについて説明する。
図14はこのユーザインターフェースの表示例を示す図である。同図では表示部分と操作部分とが混在しており、表示部分が表示部116、操作部分が入力部113に相当する。
1411は表示・操作パネルである。1412〜1415は各種機能ボタンであり、それぞれの機能ボタン1412〜1415は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うために押下されるべきボタンである。
1416はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。1425はテンキーであり、印刷時の枚数の指定や、Nup印刷する場合の1枚の紙に含まれるページ数の指定や、数値で入力する必要のある画質情報の指定を行うことが可能である。
1417は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。1418は紙文書確認用領域であり、画像読取部110で読み取った紙文書画像を、領域1418内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域1418を見ることで確認することが可能となる。
1419は入力原稿の画質を指定する為の領域である。
1420は、先に画像読み取り部110が読み取った1枚の紙文書中に何ページが印刷されているのかを表示するための領域で、テンキー1425を用いて指示された数値を表示することができる。
1421a、1421bはそれぞれ表示領域1419内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部110が読み取った紙文書がの印刷モードがカラーであるのか、それともモノクロであるのかを指定することができる。
1422a、1422bはそれぞれ表示領域1419内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部110が読み取った紙文書の用紙サイズがA4であるのか、それともB5であるのかを指定することができる。
1423a、1423bはそれぞれ表示領域1419内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部110が読み取った紙文書の紙質が上質紙であるのか、それとも再生紙であるのかを指定することができる。
印刷モード、用紙サイズ、紙質については、指定可能な値の候補がボタンで表示される。なお、指定された状態を示すために、その表示形態が、例えば、色付き表示、ブリンク表示、ハイライト表示等の表示形態に変更される。
このようなユーザインターフェースを構成することで、読み取った紙文書に対する画質情報の指定を、その状態を表示しながら指定することができる。
<特徴量の抽出処理の詳細について>
ステップS3030、ステップS3130における特徴量抽出処理の詳細について説明する。尚、特徴量抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。ここで、画像ブロックは図9(b)の例の場合、写真ブロックと図画ブロックとで構成されているものとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
まず、画像ブロックに対する特徴量抽出処理について説明する。尚、1文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
本実施形態では、特徴量抽出処理の一例として、画像の色に関する色特徴量を抽出する。
図10は、本実施形態に係る、画像ブロックからの特徴量抽出処理の詳細を示すフローチャートである。即ち、処理対象ブロックのブロック情報に含まれている「属性」が「画像」を示す場合に、この処理対象ブロックに対して行われる特徴量抽出処理のフローチャートである。
尚、この処理では、画像ブロックを複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
まず、ステップS1020で、画像ブロックを複数のメッシュブロックに分割する。本実施形態では、図11に示すように、画像ブロックを縦横をそれぞれ9メッシュブロックに分割する。特に本実施形態では、表記の都合上9×9=81メッシュブロックに分割している例を示しているが、実際には、15×15=225メッシュブロック程度であることが好ましい。図11は、メッシュブロック分割を説明する図である。
次に、ステップS1030で、処理対象となる着目メッシュブロックを左上端のメッシュブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図12に示すような、予め処理順序が決定された順序決定テーブルを参照して行う。図12は、順序決定テーブルの構成例を示す図である。
ステップS1040で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合(ステップS1040でNO)、処理を終了する。一方、未処理の着目メッシュブロックがある場合(ステップS1040でYES)、処理をステップS1050に進める。
ステップS1050では、着目メッシュブロックを構成する全画素の各濃度値を、図13に示す色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。図13は、RGB色空間における色ビンを示す図である。
尚、本実施形態では、図13に示すように、RGB色空間を3×3×3=27に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、RGB色空間を6×6×6=216に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
ステップS1060では、色ヒストグラムの最頻色ビンの色ビンIDをその着目メッシュブロックの代表色として決定し、画像ブロックにおける着目メッシュブロックの位置に対応づけて記憶部111に記憶する。
ステップS1070で、図12の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップS1040に戻り、未処理の着目メッシュブロックがなくなるまで、ステップS1040〜ステップS1070の処理を繰り返す。
以上の処理によって、画像ブロックのメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
次に、文字ブロックに対する特徴量抽出処理について説明する。尚、1文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。即ち、処理対象ブロックのブロック情報に含まれている「属性」が「文字」を示す場合に、この処理対象ブロックに対して行われる特徴量抽出処理のフローチャートである。
文字ブロックに対する文字特徴量情報は、その文字ブロックにOCR(文字認識)処理を施して得られる文字コードとする。
OCR(文字認識)処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチの一手法を用いて文字認識を行い、対応する文字コードを取得する。
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
ブロックセレクション処理(ステップS3020あるいはステップS3120)で抽出された文字ブロックに対して文字認識を行う場合は、まず、文字ブロックに対して横書き/縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
横書き/縦書きの判定は、文字ブロック内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
<比較処理の詳細について>
ステップS3140の比較処理の詳細について説明する。
図15は、ステップS3140における比較処理の詳細を示すフローチャートである。
記憶部111に登録されている各画像を、クエリ画像中の各ページの画像との比較の為に参照するのであるが、ステップS1510では、記憶部111に登録されている全ての画像を参照したか否かをチェックする。そしてまだ参照していない画像がある場合には処理をステップS1520に進め、クエリ画像中のb(bはクエリ画像中の各ページに対するインデックスである)ページ目の画像(以下、参照元画像と呼称する)と、記憶部111に登録されたまだ参照していない画像のうちの1つ(以下、参照先画像と呼称する)とが同じレイアウトであるのかをチェックする。ここで、レイアウトとは、ブロック情報が示すブロックの属性、サイズ、位置のことである。
即ちステップS1520では、参照元画像と参照先画像とで同じ位置にあるブロック同士が同じ属性を有するものであるのかをチェックする。そして互いにレイアウトが異なる場合(参照元画像と参照先画像とで同じ位置にあるブロックが互いに異なる属性を有するものが1以上ある場合)には処理をステップS1510に戻し、記憶部111に登録されたまだ参照していない画像のうちの1つを次の参照先画像として以降の処理を繰り返す。
一方、参照元画像を構成する全てのブロックと参照先画像を構成する全てのブロックとで、同じ位置にあるブロックが同じ属性を有するものである場合には処理をステップS1530に進め、比較元画像と比較先画像のページ同士の比較を行う。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。即ち、参照先画像と参照元画像との類似度を計算する。この処理の詳細については後述する。
次に、ステップS1540で、参照先画像のID、ページ番号に対応させてステップS1530で計算した類似度を記憶部111に一時記憶する。
そして、ステップS1510において、全ての文書との比較が終了した場合、処理をステップS1550に進め、類似度の降順に文書ID、ページ番号をソートして出力する。
次に、ステップS1530における処理の詳細について、同処理のフローチャートを示す図16を用いて説明する。
図16はステップS1530における処理の詳細を示すフローチャートである。先ずステップS1610で、参照元画像と参照先画像とで比較するブロックがまだあるか否かをチェックし、まだある場合には処理をステップS1620に進め、参照元画像におけるブロック(以下、参照元ブロック)、もしくは参照元ブロックとの比較対照である参照先画像におけるブロック(以下、参照先ブロック)の何れかのブロック情報を参照し、参照元ブロック、参照先ブロックの属性を判断する。即ち、画像ブロックであるのか、文字ブロックであるのかを判断する。
画像ブロックである場合には処理をステップS1640に進め、参照元ブロックと参照先ブロックとで、色特徴量の類似度を求める処理を行う。ステップS1640における処理の詳細については後述する。なお、ステップS1640で求めた類似度は、参照先画像の文書ID、ページ番号、参照先ブロックのブロックIDに対応させて記憶部111に一時記憶する。
一方、文字ブロックである場合には処理をステップS1660に進め、参照元ブロックと参照先ブロックとで、文字特徴量の類似度を求める処理を行う。ステップS1660における処理の詳細については後述する。なお、ステップS1660で求めた類似度は、参照先画像の文書ID、ページ番号、参照先ブロックのブロックIDに対応させて記憶部111に一時記憶する。
次に、ステップS1610において、全てのブロックとの比較が終了した場合(ステップS1610でNO)、処理をステップS1670に進め、ステップS1640及びステップS1660の処理によって記憶部111に記憶されている、全てのブロック対毎に求めた類似度を統合し、参照元画像と参照先画像との類似度を求める。ステップS1670における処理の詳細については後述する。
次に、ステップS1640の色特徴量比較処理の詳細について、同処理のフローチャートを示す図17を用いて説明する。
まず、ステップS1710で、参照元ブロックの色特徴量情報、参照先ブロックの色特徴量情報を読み出す。
次に、ステップS1720で、処理対象とする着目メッシュブロックを先頭に設定する。ステップS1730で、以下計算する類似距離を0にリセットする。
ステップS1740で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合(ステップS1740でNO)、処理をステップS1780に進める。一方、未比較の着目メッシュブロックがある場合(ステップS1740でYES)には、処理をステップS1750に進める。
ステップS1750では、参照元ブロックの色特徴量情報から着目メッシュブロックの色ビンIDを取得し、参照先ブロックの色特徴量情報から着目メッシュブロックの色ビンIDを取得する。
ステップS1760で、図18に例示する色ビンペナルティマトリックスを参照して、ステップS1750で取得した色ビンID間の類似距離を取得し、これを直前の処理で取得している類似距離に累積加算し、記憶部111に記憶する。
ここで、色ビンペナルティマトリックスについて、図18を用いて説明する。図18は本実施形態で用いる色ビンペナルティマトリックスの構成例を示す図である。
色ビンペナルティマトリックスは、色ビンID同士の局所的類似距離を管理するマトリックスである。図18によれば、色ビンペナルティマトリックスは、同一色ビンIDではその類似距離は0となり、色ビンID同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンIDの対角位置は全て、その類似距離は0で、それを境に対象性を持っている。
このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンID同士の類似距離を取得することができるので、処理の高速化を図ることができる。
そして、ステップS1770で、図12の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップS1740に戻る。
そして、ステップS1740で、未比較の着目メッシュブロックがない場合(ステップS1740でNO)、ステップS1780に進み、記憶部111に記憶されている類似距離を類似度に変換し、参照元ブロックのブロックIDと対にして出力する。
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度100%、類似距離が最大値のときを類似度0%として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
一方、ステップS1660における比較処理の詳細について説明する。
この処理では、参照元画像と参照先画像とで対応する文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。類似度は100%となるのが理想的であるが、実際には、参照元画像中の文字ブロックに対するOCR処理では誤認識が発生する場合があるので、類似度は100%にならないことはあるが、かなり100%に近い値となる。
<統合処理の詳細について>
次に、ステップS1670における統合処理の詳細について説明する。この統合処理では、参照先画像内で占めている割合の大きいブロックの類似度が、参照先画像全体の類似度としてより大きく反映されるような、ブロック毎の類似度の統合を行う。
例えば、参照先画像中のブロックB1〜B6に対し、ブロック毎の類似率がn1〜n6と算出されたとする。このとき参照先画像全体の総合類似率Nは、以下の式で表現される。
N=w1×n1+w2×n2+w3×n3+ ・・・ +w6×n6 (1)
ここで、w1〜W6は、各ブロックの類似率を評価する重み係数である。重み係数w1〜w6は、各ブロックの参照先画像内占有率により算出する。例えば、ブロックB1〜B6のサイズをS1〜S6とするとw1は、
w1=S1/(S1+S2+・・・+S6) (2)
として算出することができる。
各ブロックのサイズは、ブロック情報を参照することで得られる。このような占有率を用いた重み付け処理により、参照先画像内で大きな領域を占めるブロックの類似度がより、参照先画像全体の類似度に反映することができる。
なお、統合類似度の求め方についてはこれに限定するものではない。
<ユーザ確認モードについて>
ユーザ確認モードについては、ステップS3140における検索処理が終了したらユーザ確認モードに移行するようにユーザが予め入力部113を用いて設定しても良いし、ステップS3140における検索処理が終了したら、その検索結果に応じて上記CPUがユーザ確認モードに移行するようにしても良い。
ステップS3140における検索処理に結果に応じてユーザ確認モードに移行するか否かを判断する場合の処理には以下のようなものがある。
例えば、ステップS3140で検索した結果が1つである場合(1つのページに対して検索結果が1つの画像である場合)、又は最も類似度の高い検索結果と次に類似度の高い検索結果とで、類似度の差が所定値以上であり、且つ最も類似度の高い検索結果が、所望とするものである可能性が高い場合には、ユーザ確認モードには移行せず、そうでない場合は、ユーザ確認モードに移行するようにする。
但し、Nup印刷の紙文書をスキャンした場合は、スキャン画像中の各ページに対応するそれぞれの候補について、1つでも上記の条件(ステップS3140で検索した結果が1つである場合(1つのページに対して検索結果が1つの画像である場合)、又は最も類似度の高い検索結果と次に類似度の高い検索結果とで、類似度の差が所定値以上であり、且つ最も類似度の高い検索結果が、所望とするものである可能性が高い場合)を満足しない場合は、ユーザ確認モードに移行し、上記の条件を満足しなかったページのみの確認を行う。
ユーザ確認モードに移行すると、MFP100の表示部110と入力部113で実現されるユーザインタフェースに、ステップS3140における検索結果を類似度の高い順に表示して、その中から所望の画像の選択をユーザに行ってもらう。ステップS3160では、このユーザインターフェースを表示すると共に、このユーザインターフェースに対する操作を受け付ける。
このように、ユーザ確認モードへの以降を自動判定する場合は、ユーザによる画像の選択操作が不要となるので、操作工数を低減することができる。
ここで、表示部110と入力部113で実現されるユーザインタフェースについて説明する。図19は、このユーザインターフェースの表示例を示す図である。
1917は図14に示した表示領域1417に表示されるユーザインターフェースである。
1918はモード表示領域であり、同図ではユーザ確認モードが設定されている。即ち、ステップS3140における検索処理が完了するとユーザ確認モードに移行するように設定されている。ここで、ユーザがモード表示領域1918の部分を自身の指などで指示すると、「非ユーザ確認モード」に移行すると共に、このモード表示領域1918には「非ユーザ確認モード」成る文字が表示される。このように、モード表示領域1918を指示する毎に「ユーザ確認モード」と「非ユーザ確認モード」とが交互に設定される。
1919〜1928は、ステップS3140における検索処理の結果としての画像のサムネイル画像群である。このサムネイル画像の表示は、1919から番号順に類似度の高い順で表示されている。同図の例では最大10のサムネイル画像が表示されており、検索結果が10以上である場合には類似度の大きい順に上位10位までを表示する。
1929は、クエリ画像がNup印刷された紙文書をスキャンしたことで得られた画像である場合に表示される領域であり、図14に例示したユーザインターフェースにおいて領域1420に入力された数値が2以上である場合に表示される。
同図ではこの領域1929には「1ページ」と表示されているため、画像1919〜1928は、記憶部111に登録されている画像群のうち、クエリ画像中の1ページ目の画像に対する類似度が所定値以上のもので且つ上位10位以上のものである。
操作者がこの領域1929を指示する毎に、領域1929内は「2ページ目」、「3ページ目」、、、「Nページ目」(Nは領域1420内に入力した数値で、クエリ画像中に含まれているページ数)というように表示が切り替わると共に、画像1919〜1928は「記憶部111に登録されている画像群のうち、2ページ目の画像に対する類似度が所定値以上のもので且つ上位10位以上のもの」、「記憶部111に登録されている画像群のうち、3ページ目の画像に対する類似度が所定値以上のもので且つ上位10位以上のもの」、、、「記憶部111に登録されている画像群のうち、Nページ目の画像に対する類似度が所定値以上のもので且つ上位10位以上のもの」というように切り替わる。
そして操作者は各ページにおいて画像1919〜1928のうち1つを指示することで、各ページについて1つの検索結果を指示することができる。同図では「記憶部111に登録されている画像群のうち、1ページ目の画像に対する類似度が所定値以上のもので且つ上位10位以上のもの」が画像1919〜1928として表示されているので、画像1919〜1928のうち1つを指示することになる。
<画質比較処理の詳細について>
次に、ステップS3161における画質比較処理の詳細について説明する。上述の通り、画質比較処理は、クエリ画像中の各ページについて、注目ページの画像と、注目ページの画像についてステップS3160、もしくはステップS3190で選択された画像(以下、選択画像と呼称する)とで、画質の比較を行うのであるが、画質の比較には、それぞれ比較する画像の画質情報を用いる。
画質情報が複数の項目からなるときは、各項目をチェックし、両方ともその値がNo Informationでない項目を選択して比較する。次に、選択された項目のうち、画質に大きく寄与する項目の順にチェックする。例えば、クエリ画像中の注目ページの画像と、注目ページの画像についてステップS3160、もしくはステップS3190で選択された選択画像とで画質の比較を行う場合、クエリ画像に対する画質情報と、選択画像が属する文書に対する画質情報とを参照する。
ここで、クエリ画像中のページレイアウトは1枚2ページ、紙質が上質紙であって、選択画像が属する文書のページレイアウトは1枚1ページ、紙質が再生紙である場合、紙質はクエリ画像の方が良いのであるが、ページレイアウトが1枚2ページであるので、1ページあたりの解像度は、選択画像の半分しかない。一方、上質紙の方が再生紙よりも色の再現度などがいいものの、大きな差はない。このような場合、画質は、紙質よりも1ページあたりの解像度の差によるものの方が圧倒的に大きい。よって、ページレイアウト、紙質が選択された項目であった場合は、ページレイアウトをまず比較し、クエリ画像の方が高画質と判定できれば、紙質は比較しない。ページレイアウトの比較で、クエリ画像の方が高画質と判定できなかった場合は、更に、紙質を比較し、この結果を採用するようにする。以上のように、画質に大きく寄与する項目から順に比較し、必要に応じて残りの項目の比較を行うようにする。
また、画質情報が段階で表現されている時は、段階の高い方を高画質と判定すればよい。
以上説明したように、本実施形態によれば、クエリ画像が既に登録されている画像よりも高画質であった場合には入れ替えを行い、クエリ画像を新たなオリジナル画像とすることによって、次回の検索をより高精度に行うことができる。検索時には様々なユーザが検索を行うので、手元に原稿を保持していることもあり、クエリ画像の方が高画質になる可能性は高いと考えられる。よって、多くのユーザが利用すればするほど、本画像処理システムは高精度の検索が可能となる。また、印刷品質を上げることができる。
尚、本実施形態では、画像処理システム全体の処理効率を向上するために、上記各処理を画像処理システムを構成する各種端末に分散させて実行するようにしているが、1つの端末(例えば、MFP100)上で実行するようにしても構わない。
[第2の実施形態]
第1の実施形態では、紙文書をスキャンすることで得られる画像の画質情報をユーザインターフェースを介してユーザが入力していたが、本実施形態では、画像を解析することでこの画像の画質を得る。
<登録処理>
図20Aは、紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をMFP100の記憶部111に登録する為の一連の処理のフローチャートである。なお、同図の各ステップにおいて、図3Aに示したステップと同じものについては同じステップ番号を付けており、その説明は省略する。
ステップS2011では、ステップS3010で入力したラスタ画像を解析したり、紙文書入力時のセンサ情報を取得したりすることによって画質を判定し、画質情報を得る。このとき、画質情報としては第1の実施形態と同様に画質に関する各種の情報そのものであってもよいし、各種の情報より判定した段階で表現したものであってもよい。本ステップにおける処理の詳細については後述する。
<検索処理>
次に、上述のようにして記憶部111に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理について、同処理のフローチャートを示す図20Bを用いて以下、説明する。なお、同図の各ステップにおいて、図3Bに示したステップと同じものについては同じステップ番号を付けており、その説明は省略する。
ステップS2111では、ステップS3110で入力したクエリ画像に対して上記ステップS2011と同じ処理を行う。本ステップにおける処理の詳細については後述する。
そしてクエリ画像中の注目ページ画像と、この注目ページ画像についてステップS3160、もしくはステップS3190で選択された画像との画質比較の結果、注目ページ画像の方が画質が高いとステップS3162で判断した場合には処理をステップS2163に進め、ステップS3163における登録処理を行うか否かの指示を受け付ける。この指示は操作者によって入力されるものである。このような指示を受け付けるのは、ステップS2111で行った画質判定の結果が正当なものであるのかを操作者が判断する為である。本ステップにおける処理の詳細については後述する。
ステップS2165では、登録する画像の画質情報の修正を行うのか否かの指示を受け付ける。この指示は操作者によって入力されるものである。このような指示が入力されていれば処理をステップS2166に進め、画質情報を修正するためのユーザインターフェースを表示部116の表示画面上に表示し、修正を受け付ける。ステップS2165,S2166における処理の詳細については後述する。
<画質判定処理の詳細について>
ステップS2011、ステップS2111における画質判定処理の詳細について説明する。以下の説明では例として、Nup印刷判定、カラー/グレースケール印刷判定、用紙サイズ判定、紙質判定のそれぞれの判定処理について説明する。
・ Nup印刷判定処理
まず、画像読み取り部110がスキャンした結果得られる画像がNup印刷されたものであるのか否かを判定するNup印刷判定処理について説明する。
紙文書に1ページ分の文書が印刷されている通常印刷の場合には、紙文書の上端か下端にページ番号が印刷される。一方、Nup印刷の場合は、紙文書内に複数のページ番号が等間隔に印刷されることになる。そこで、このことを利用して、処理対象のスキャン画像がNup印刷であるか否かを判定する。以下では、図21に示すような1枚の紙に4ページ分の文書をNup印刷した紙文書を例に取り、この紙文書スキャンした場合に、この紙文書がNup印刷されたものであるのか否かを判定する処理について説明する。図21は、1枚に4ページ分をNup印刷した紙文書の一例を示す図である。
図21において、2110はNup印刷時の紙全体の領域を示している。2111〜2114は各ページのページ画像を示している。2115〜2118は各ページに付与されたページ番号である。2119と2120の太枠内は、後述するページ番号探索領域である。
図22は本実施形態に係るNup印刷判定処理の詳細を示すフローチャートである。
まず、ステップS2210で、紙全体の領域2110の上端と下端の領域に対して、画像読み取り部110によってOCR処理を施す。次に、ステップS2220で、OCR処理の処理結果として、ページ番号(例えば、アラビア数字、もしくは英数字)が2個所以上、上端領域または下端領域の同じ領域内に等間隔で存在するか否かを判定する。ページ番号が2個所以上存在しない場合(ステップS2220でNO)、ステップS2260に進み、この紙文書が1枚の紙に1ページが印刷されたもの(通常印刷)であると判定する。一方、ページ番号が2個所以上存在する場合(ステップS2220でYES)、ステップS2230に進む。
図21の例では、ページ番号2117(「3」)と2118(「4」)が下端領域に2箇所検出されることになる。
ステップS2230で、検出されたページ番号に基づいて、他のページ番号を探索するためのページ番号探索領域を設定し、その設定したページ番号探索領域に対してOCR処理を施す。
図21の例では、ページ番号2117(「3」)を含む矩形領域をページ番号2117(「3」)、2118(「4」)の並びと垂直な方向に紙の長さ(この方向に対する紙の長さ)分だけ延長した矩形をページ番号探索領域2119として設定する。また、ページ番号2118(「4」)を含む矩形領域をページ番号2117(「3」)、2118(「4」)の並びと垂直な方向に紙の長さ(この方向に対する紙の長さ)分だけ延長した矩形をページ番号探索領域2120として設定する。そして、各ページ番号探索領域2119、2120に対してOCR処理を施す。
次に、ステップS2240で、各ページ番号探索領域でページ番号が検出され、各ページ番号探索領域中のページ番号同士の間隔が同一であるか否かを判定する。同一でない場合(ステップS2240でNO)、ステップS2260に進み、通常印刷であると判定する。一方、同一である場合(ステップS2240でYES)、ステップS2250に進み、Nup印刷であると判定する。
図21の例では、ページ番号探索領域2119にページ番号2115(「1」)と2117(「3」)が検出され、ページ番号探索領域2120にページ番号2116(「2」)と2118(「4」)が検出される。そして、ページ番号探索領域2119とページ番号探索領域2120中のページ番号の間隔は、同じ間隔となっている。そのため、この場合は、Nup印刷と判定される。
また、この際、ステップS2210で検出されたページ番号の数と、ステップS2230の1つのページ番号探索領域で検出されたページ番号の数を乗算することで、1枚の紙に含まれるページ数を算出することができ、このページ数を画質情報の1つ(ページレイアウト)として記憶部111に一時保存する。
・ カラー印刷かグレースケール印刷かの判定処理
次に、カラー印刷かグレースケール印刷かの判定処理について説明する。
この判定は、画像読み取り部110がスキャンした結果得られる画像に占める色情報の割合を解析し、画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
図24は本実施形態に係る、カラー印刷かグレースケール印刷かの判定処理のフローチャートである。
先ずステップS1610でスキャン画像を構成する全画素の色の平均色を算出する。ステップS1620で、平均色を輝度成分と色差成分に変換する。ステップS1630で、輝度成分値に対する色差成分値の割合Rを算出する。
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。例えば、YCbCr色空間を用いると、24ビットRGB値との関連は、
Y =0.29900×R+0.58700×G+0.11400×B
Cb=−0.16874×R−0.33126×G+0.50000×B+128
Cr=0.50000×R−0.41869×G+(−0.08131)×B+128 (2)
と表現される。
そしてステップS1610で算出した平均色を式(2)に従って輝度成分Yaveと色差成分Cbave及びCraveに分離し、割合Rを以下の式3に従って求める
割合R=√(Cbave×Cbave+Crave×Crave)/Yave (3)
そして、ステップS1640で、この割合Rが予め定めた閾値以上であるか否かを判定する。閾値以上である場合(ステップS1640でYES)、ステップS1650に進み、画像の色情報が十分であると判定する(即ち、カラー画像であると判定する)。一方、閾値未満である場合(ステップS1640でNO)、ステップS1660に進み、画像の色情報が十分であると判定する(即ち、カラー画像であると判定する)。
以上の処理により、紙文書をスキャンすることで得られる画像がカラー画像であるのか、それともグレースケール画像であるのかを判定することができる。
・ 用紙サイズの判定処理
次に、用紙のサイズの判定処理について説明する。用紙サイズは、画像読み取り部110において、光電センサを用いてプレスキャンを行い、光電センサの出力に基いてサイズを判定することができる。
・ 紙質の判定処理
次に、紙質の判定処理について説明する。紙質は、反射型センサによって上質紙と再生紙との光の反射率の違いを利用して紙の種類を弁別する方法が特開平4−39223号公報などで開示されており、このようなセンサを画像読み取り部110に取り付けることによって紙文書の紙質の判定は可能となる。

なお、画質情報を段階で表現する場合は、前述のような各項目の情報を抽出した後に、各項目について予め設けた基準に基いて、各項目ごとの段階を求め、全項目の中で最も低画質に近い段階を、全体の段階として採用する。
<ステップS3163における登録処理を行うか否かの指示方法についての詳細>
次に、ステップS3163における登録処理を行うか否かの指示方法について説明する。
本実施形態では、クエリ画像に対する画質判定が観察者が行うわけではないので、例えばクエリ画像をスキャンした紙質の判定がセンサエラーにより誤っていたり、ページレイアウトの判定を誤っていたりすることで、本当は検索した画像の方が画質が高いはずなのに、クエリ画像の方が画質が高いとなってしまう可能性が生ずる。
よって本実施形態では表示部116の表示画面上にクエリ画像(入力画像)と、検索結果の画像(登録画像)とを一覧表示すると共に、それぞれの画像の画質情報を一覧表示することで、観察者にそれぞれの画像の画質を判断してもらい、入力画像を登録画像の代わりに登録するのか否かを観察者に判断してもらう。また、入力画像の画質情報が誤っている場合には、これを修正するような構成を観察者に提供する。
図23は、クエリ画像(入力画像)、検索結果の画像(登録画像)、それぞれの画像の画質情報の表示部116の表示画面上における表示例を示す図である。
2300は図14に示した表示領域1417に表示されるユーザインターフェースである。
2301は入力画像(文書)のサムネイル画像、2302は登録画像(文書)のサムネイル画像である。これによりユーザはそれぞれの画像の画質を比較することができる。もし、サムネイルで判別が難しい際は、判別したい方のサムネイルの表示領域を指示し、拡大ボタン画像2303を指示することで、指示したサムネイル画像を拡大表示させることができる。
なお、拡大ボタン画像2303を再度指示することによって、拡大表示した画像を元のサムネイル画像に戻すこともできる。
2304は入力文書に対する画質判定結果、2305は記憶部111に登録されている登録文書の画質情報である。これらの情報をユーザが参照することによって、本画像処理システムがどのような判定結果に基いて入力画像を登録画像の代わりに登録することを勧めているか知ることができ、観察者が入力画像の登録を指示する判断材料とすることができる。
ユーザが入力画像を登録するべきであると判断した場合は、入れ替えボタン画像2306を指示することで、上記CPUに、登録を指示することになる。
また、観察者が画質情報2304を見て、画質判定の誤りが発生していると判断した場合には、入力画像の登録は行わない方がよいので、登録をキャンセルするためのボタン画像2307を指示する。これにより、登録をキャンセルすることができる。
また、観察者が画質情報2304を見て、画質判定の誤りが発生していると判断した場合には、画質情報2304を修正することもでき、その場合には領域2308を指示する。指示すると同図に示す如く、チェックマークが表示される。これにより、表示部116の表示画面上には、図25に例示するようなユーザインターフェースが表示される。
図25は、入力画像の画質情報を修正するためのユーザインターフェースの表示例を示す図である。
2500は、図14に示した表示領域1417に表示されるユーザインターフェースである。
2501は、入力画像に対する画質判定処理の結果である画質情報である。各項目である2502、2503a、2503b、2504a、2504b、2505a、2505bはそれぞれ、図14における1420、1421a、1421b、1422a、1422b、1423a、1423bと同じであり、それぞれの項目については、第1の実施形態で説明したように、テンキー1425を用いて、もしくは直接表示部分を指示することで設定することができる。即ち、第1の実施形態において、画質情報を観察者が入力する場合と同様にして、入力画像の画質情報を修正する。
修正が完了すると、OKボタン画像2506を指示することで、このユーザインターフェースにおいて設定した各項目を、この入力画像に対する画質情報として設定し、記憶部111に登録することができる。2507はキャンセルボタン画像であり、画質情報の修正自体を取り消したい場合に指示する。
このようなユーザインターフェースを提供することで、ユーザは入力画像の登録の判断を、入力画像と登録画像のサムネイル画像、及び、画質情報を確認しながら行い、入力画像の登録を指示することができる。そして、登録画像、或いは、登録する入力画像の画質情報が誤判定されているときは、適宜、修正を行うことができる。修正しておけば、次回からはより適切に画質比較の判断を行うことが可能になる。
以上説明したように、本実施形態によれば、第1の実施形態で説明した効果に加えて、登録・検索時の入力画像の画質情報を自動的に判定することで、ユーザの手を煩わすことなく、入力画像の方が高画質のときは登録を行うことができる。またユーザは、必要に応じて登録を行うのか否かの判定を確認することが可能となる。
尚、第1,2の実施形態において、画質情報はページ単位に付与したが、画像ごとに常に同じ条件であるような場合は、画像単位に付与しても構わない。このときは、画像管理情報のページ番号は不要となる。そして、1画像が複数枚からなる場合は、その紙文書から得られる画像データ群(ページ画像群)を1つのファイルとして管理することになる。
尚、画質情報は、第1の実施形態ではユーザが指定し、第2の実施形態では自動判定するように構成したが、これらを併用してももちろん構わない。例えば、登録時はユーザの負担を減らすために自動判定を用い、検索時のみユーザが指定するよういしてもよい。このとき、登録の確認を行って、登録済みの画質情報が誤っているときは、修正できるようにしてもよい。また別な例としては、モードを設け、スキャンさせる紙文書の画質がほぼ一定であれば、自動判定モードで行い、ばらつきが大きい時は、ユーザが指定するユーザ指定モードで行う、というようにしてもよい。
尚、第1,2の実施形態において、読み取りの解像度は固定としたが、変更できるようにしてもよい。このとき、読み取り解像度は、スキャン画質の解像度そのものであるので、画質情報として利用することができる。
また、第1,2の実施形態では、紙文書を登録対象としたが、電子データも登録対象としてもよい。このときのファイル形式は、その電子データを作成したアプリケーション(例えば、マイクロソフト(登録商標)社のMS−Wordや、アドビシステム(登録商標)のアクロバット等)で作成されたファイル形式(*.docや*.pdf)となる。そして、このときは、電子データを、一旦、ラスタ画像に変換するか、BS処理を行わず、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。
このようにすれば、文字特徴量としては誤認識のない文字コードが得られたり、解像度の高い画像から画像特徴量を抽出できたりするので、より高い検索精度を得られることになる。
更には、電子データから直接印刷する方が、より高画質に印刷できる。よって、電子データも登録対象とする場合は、電子データか紙文書をスキャンしたものかという情報も、画質情報として利用することが可能である。
また、図10の色特徴量抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Gabor変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を1つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
また、ブロックセレクション処理を行い、処理対象の画像を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、スキャン画像全体を単位として検索を行うようにしても良い。また、精度が許容される範囲ならば、画像ブロックのみを利用して検索を行うようにしても構わない。
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。

また第1,2の実施形態では、画質情報を記憶部111に登録するようにしているが、上記CPUの処理速度が十分に早い場合には、画像の登録時、検索時に入力画像の画質、登録画像の画質を求め、それぞれを比較するようにしても良い。画質の求め方については特に限定するものではないが、周知のように画像中の高周波数成分に基づいて画質を求めるようにしても良い。このような構成にすることで、記憶部111に登録するデータ量を軽減することができる。
[その他の実施形態]
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
以上の実施形態を通じ、本発明によれば、読み取った紙文書から対応するオリジナルの電子データを検索するシステムにおいて、オリジナルの電子データのクオリティを高いものに更新することができるので、高画質での印刷など、高いクオリティで応用することが可能となる。また、クオリティの高い電子データより抽出した特徴量に更新することができるので、検索精度を高めることが可能となる。
本発明の第1の実施形態に係る画像処理システムの構成例を示す図である。 MFP100の機能構成を示すブロック図である。 紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をMFP100の記憶部111に登録する為の一連の処理のフローチャートである。 記憶部111に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理のフローチャートである。 文書管理情報の構成例を示す図である。 ブロック情報の構成例を示す図である。 画像ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。 図7は、文字ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。 2ページ分をNup印刷したクエリ画像(2in1の紙文書をクエリとしてステップS3100で入力した場合に得られるクエリ画像)の例を示す図である。 ブロックセレクション処理を説明する図である。 本発明の第1の実施形態に係る、画像ブロックからの特徴量抽出処理の詳細を示すフローチャートである。 メッシュブロック分割を説明する図である。 順序決定テーブルの構成例を示す図である。 RGB色空間における色ビンを示す図である。 ステップS3010、ステップS3110において画質情報を入力するために表示部116の表示画面上に表示されるユーザインターフェースの表示例を示す図である。 ステップS3140における比較処理の詳細を示すフローチャートである。 ステップS1530における処理のフローチャートである。 ステップS1640の色特徴量比較処理のフローチャートである。 本発明の第1の実施形態で用いる色ビンペナルティマトリックスの構成例を示す図である。 ユーザ確認モードに移行したときに表示される、MFP100の表示部110と入力部113で実現されるユーザインタフェースの表示例を示す図である。 紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をMFP100の記憶部111に登録する為の一連の処理のフローチャートである。 記憶部111に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理のフローチャートである。 1枚に4ページ分をNup印刷した紙文書の一例を示す図である。 本発明の第2の実施形態に係るNup印刷判定処理の詳細を示すフローチャートである。 クエリ画像(入力画像)、検索結果の画像(登録画像)、それぞれの画像の画質情報の表示部116の表示画面上における表示例を示す図である。 本発明の第2の実施形態に係る、カラー印刷かグレースケール印刷かの判定処理のフローチャートである。 入力画像の画質情報を修正するためのユーザインターフェースの表示例を示す図である。

Claims (12)

  1. 画像データを管理する画像処理装置であって、
    画像データを1以上保持する保持手段と、
    クエリとしての画像データを入力する入力手段と、
    前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに類似する画像データを検索する検索手段と、
    前記検索手段によって検索した画像データのうち1つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行う比較手段と、
    前記入力手段によって入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データを、前記1つの画像データとして前記保持手段に格納する格納制御手段と
    を備えることを特徴とする画像処理装置。
  2. 前記保持手段は更に、保持している画像の画質に関する情報を保持しており、
    前記比較手段は、前記1つの画像データの画質に関する情報と、前記入力手段によって入力した画像の画質に関する情報とを用いて、前記1つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行い、
    前記格納制御手段は更に、前記入力手段によって入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像の画質に関する情報を、前記1つの画像データの画質に関する情報の代わりとして前記保持手段に格納することを特徴とする請求項1に記載の画像処理装置。
  3. 前記入力手段によって入力した画像の画質に関する情報は、前記入力手段によって入力されたことを特徴とする請求項2に記載の画像処理装置。
  4. 更に、前記入力手段によって入力した画像から、当該の画質に関する情報を収集する画質情報収集手段を備えることを特徴とする請求項2に記載の画像処理装置。
  5. 更に、
    前記入力手段によって入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データ及び当該画像の画質に関する情報、前記1つの画像データ及び当該画像データの画質に関する情報を一覧表示する一覧表示手段と、
    前記入力手段によって入力した画像データの画質に関する情報、前記1つの画像データの画質に関する情報の何れかを修正する修正手段と
    を備えることを特徴とする請求項2乃至4の何れか1項に記載の画像処理装置。
  6. 前記格納制御手段は、前記入力手段によって入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データ、当該画像データの画質に関する情報を、前記1つの画像データ、当該画像データの画質に関する情報の代わりに機能するように前記保持手段に格納することを特徴とする請求項2に記載の画像処理装置。
  7. 前記検索手段によって検索した画像データのうち1つの画像データは、前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに最も類似する画像データであることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
  8. 更に、前記検索手段によって検索した画像データのうち1つの画像データをユーザに選択させるための選択手段を備えることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
  9. 前記画像の画質に関する情報は、当該画像の解像度、レイアウト、当該画像のスキャン元の用紙のサイズ、当該用紙の紙質、当該画像の当該用紙への印刷の倍率設定、当該用紙を得るためのオリジナルに対するコピー回数、当該印刷時の階調設定、当該印刷がカラー印刷かグレースケール印刷かの設定のうち1以上を含むことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
  10. 画像データを1以上保持するメモリを保持する画像処理装置が行う画像処理方法であって、
    クエリとしての画像データを入力する入力工程と、
    前記メモリが保持する画像データ群のうち、前記入力工程で入力した画像データに類似する画像データを検索する検索工程と、
    前記検索工程で検索した画像データのうち1つの画像データの画質と、前記入力工程で入力した画像データの画質との比較を行う比較工程と、
    前記入力工程で入力した画像の画質の方が、前記1つの画像データの画質よりも高い場合には、前記入力工程で入力した画像データを、前記1つの画像データとして前記メモリに格納する格納制御工程と
    を備えることを特徴とする画像処理方法。
  11. コンピュータに請求項10に記載の画像処理方法を実行させることを特徴とするプログラム。
  12. 請求項11に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2004267518A 2004-09-14 2004-09-14 画像処理装置、画像処理方法 Expired - Fee Related JP4371965B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004267518A JP4371965B2 (ja) 2004-09-14 2004-09-14 画像処理装置、画像処理方法
US11/223,986 US7623259B2 (en) 2004-09-14 2005-09-13 Image processing apparatus and image processing method to store image data for subsequent retrieval

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004267518A JP4371965B2 (ja) 2004-09-14 2004-09-14 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
JP2006085298A true JP2006085298A (ja) 2006-03-30
JP4371965B2 JP4371965B2 (ja) 2009-11-25

Family

ID=36033979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004267518A Expired - Fee Related JP4371965B2 (ja) 2004-09-14 2004-09-14 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US7623259B2 (ja)
JP (1) JP4371965B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027620A (ja) * 2007-07-23 2009-02-05 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
US7986839B2 (en) 2008-02-26 2011-07-26 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, image forming apparatus, and storage medium
US8050501B2 (en) 2007-09-07 2011-11-01 Sharp Kabushiki Kaisha Image matching apparatus, image matching method, and image data output processing apparatus
US8073262B2 (en) 2007-09-10 2011-12-06 Sharp Kabushiki Kaisha Image matching apparatus, image matching method, and image data output processing apparatus
JP2012009936A (ja) * 2010-06-22 2012-01-12 Konica Minolta Business Technologies Inc 画像形成複合装置
US8260061B2 (en) 2007-09-21 2012-09-04 Sharp Kabushiki Kaisha Image data output processing apparatus and image data output processing method
CN103685923A (zh) * 2012-09-14 2014-03-26 巴法络股份有限公司 图像信息处理系统、图像信息处理装置以及方法
WO2014118877A1 (ja) * 2013-01-29 2014-08-07 Kajiyama Toshio 現地画像・地図情報収集提供システム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
JP4920928B2 (ja) * 2005-08-08 2012-04-18 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP2007116272A (ja) * 2005-10-18 2007-05-10 Ricoh Co Ltd 画像処理装置
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
JP5006636B2 (ja) * 2006-12-21 2012-08-22 キヤノン株式会社 文書管理装置、文書管理方法、およびプログラム
AU2007254598B2 (en) * 2007-12-20 2011-03-24 Canon Kabushiki Kaisha Map-based aesthetic evaluation of document layouts
US20090279108A1 (en) * 2008-05-12 2009-11-12 Nagayasu Hoshi Image Processing Apparatus
JP5058904B2 (ja) * 2008-07-15 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
JP5570176B2 (ja) 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
US8411970B2 (en) * 2010-03-16 2013-04-02 Pixia Corp. Method and system for determining statistical data for image pixels having a higher bit depth per band
JP5763965B2 (ja) 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR101928944B1 (ko) * 2012-06-06 2019-03-12 삼성전자주식회사 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
CN103543965A (zh) * 2012-07-09 2014-01-29 北大方正集团有限公司 一种文件处理方法及装置
JP5724996B2 (ja) * 2012-12-06 2015-05-27 コニカミノルタ株式会社 画像処理方法、画像形成装置及び画像形成システム
US8854675B1 (en) * 2013-03-28 2014-10-07 Xerox Corporation Electronic document processing method and device
JP6968647B2 (ja) * 2017-10-03 2021-11-17 キヤノン株式会社 スキャン画像にファイル名を設定するための装置、その制御方法及びプログラム
SE545276C2 (en) * 2018-05-16 2023-06-13 Tracy Of Sweden Ab Arrangement and method for identifying and tracking log
JP2023175098A (ja) * 2022-05-30 2023-12-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797373B2 (ja) * 1985-08-23 1995-10-18 株式会社日立製作所 文書フアイリングシステム
JPH0798373B2 (ja) 1987-12-09 1995-10-25 大阪シーリング印刷株式会社 ラベル製造装置
JPH09163121A (ja) * 1995-12-12 1997-06-20 Minolta Co Ltd デジタル画像形成装置
JPH11187253A (ja) 1997-12-22 1999-07-09 Canon Inc 画像処理装置及び方法
US6226636B1 (en) * 1998-11-20 2001-05-01 Philips Electronics North America Corp. System for retrieving images using a database
JP2000175008A (ja) 1998-12-01 2000-06-23 Ricoh Co Ltd ファクシミリ受信装置
US6502105B1 (en) * 1999-01-15 2002-12-31 Koninklijke Philips Electronics N.V. Region-based image archiving and retrieving system
JP2000261648A (ja) 1999-03-05 2000-09-22 Fuji Xerox Co Ltd 画像形成装置
JP2001257862A (ja) 2000-03-09 2001-09-21 Ricoh Co Ltd 画像形成装置
US20020048403A1 (en) * 2000-10-24 2002-04-25 Electronic Warfare Associates, Inc Mark recognition system and method for identification of one or more marks on an object
JP4168605B2 (ja) 2001-06-22 2008-10-22 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US7283267B2 (en) * 2001-02-19 2007-10-16 Minolta Co., Ltd. Data processing device, data processing method, and data processing program for recognizing characters in a URL
JP4134534B2 (ja) 2001-07-16 2008-08-20 コニカミノルタビジネステクノロジーズ株式会社 データ管理システム、データ入力装置、データ保存装置、データ管理方法、データ管理プログラムおよびデータ管理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003163801A (ja) * 2001-11-26 2003-06-06 Fuji Xerox Co Ltd 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP4181892B2 (ja) * 2003-02-21 2008-11-19 キヤノン株式会社 画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027620A (ja) * 2007-07-23 2009-02-05 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
US8050501B2 (en) 2007-09-07 2011-11-01 Sharp Kabushiki Kaisha Image matching apparatus, image matching method, and image data output processing apparatus
US8073262B2 (en) 2007-09-10 2011-12-06 Sharp Kabushiki Kaisha Image matching apparatus, image matching method, and image data output processing apparatus
US8260061B2 (en) 2007-09-21 2012-09-04 Sharp Kabushiki Kaisha Image data output processing apparatus and image data output processing method
US7986839B2 (en) 2008-02-26 2011-07-26 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, image forming apparatus, and storage medium
JP2012009936A (ja) * 2010-06-22 2012-01-12 Konica Minolta Business Technologies Inc 画像形成複合装置
CN103685923A (zh) * 2012-09-14 2014-03-26 巴法络股份有限公司 图像信息处理系统、图像信息处理装置以及方法
JP2014059658A (ja) * 2012-09-14 2014-04-03 Buffalo Inc 画像情報処理システム、画像情報処理装置、及びプログラム
WO2014118877A1 (ja) * 2013-01-29 2014-08-07 Kajiyama Toshio 現地画像・地図情報収集提供システム

Also Published As

Publication number Publication date
JP4371965B2 (ja) 2009-11-25
US7623259B2 (en) 2009-11-24
US20060056660A1 (en) 2006-03-16

Similar Documents

Publication Publication Date Title
JP4371965B2 (ja) 画像処理装置、画像処理方法
JP4405831B2 (ja) 画像処理装置及びその制御方法、プログラム
JP4266695B2 (ja) 画像処理装置及び画像処理方法
JP4181892B2 (ja) 画像処理方法
JP4920928B2 (ja) 画像処理装置及びその制御方法、プログラム
US7746507B2 (en) Image processing apparatus for image retrieval and control method therefor
JP5063422B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN101178725A (zh) 用于信息检索的设备、方法和计算机程序产品
US8144988B2 (en) Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
US8194982B2 (en) Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
JP2006333248A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2009211554A (ja) 画像処理装置、画像処理方法、コンピュータプログラム、および記憶媒体
JP2004348467A (ja) 画像検索装置及びその制御方法、プログラム
JP5298997B2 (ja) 文書画像編集装置、文書画像編集方法、文書画像編集プログラム、及びその方法をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記録媒体
JP4047222B2 (ja) 画像処理装置及びその制御方法、プログラム
JP6012700B2 (ja) 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム
JP2006023946A (ja) 画像処理装置及びその制御方法、プログラム
JP2008107901A (ja) 画像処理装置及びその制御方法、プログラム
JP5420032B2 (ja) 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム
JP5745010B2 (ja) 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム
JP5652509B2 (ja) 編集装置、編集方法、及びプログラム
JP2006092067A (ja) 情報処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees