JP2008228114A - 画像形成装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体 - Google Patents

Abstract

【課題】定着による破損の危険が無く、又ユーザの文書作成の自由度を損なわないページ番号情報付加手段及びページ並べ替え手段を備えた画像形成装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体を提供する。
【解決手段】複数ページの原稿を読み取って画像を形成する画像形成装置であって、前記原稿を読み取って画像データを生成する画像読取手段と、前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込む情報埋め込み手段と、前記原稿に埋めこまれた情報を抽出する情報抽出手段と、前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するページ番号取得手段と、前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるページ順序判定手段と、を具備する構成となっている。
【選択図】図４

Description

この発明は、定着による破損の危険が無く、又ユーザの文書作成の自由度を損なわないページ番号情報付加手段及びページ並べ替え手段を備えた画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体に関するものである。

近年のオフィスに於いては、紙文書がコピーされることはもちろんのこと、ＰＣの普及、ネットワークインフラの充実により、紙として出力された原稿をスキャニングすることにより電子化し、ネットワークを介して容易に取り回したり、他者とリソースを共有することで、知識創造に役立てたりすると言ったことが頻繁に行われつつある。
例えば、参加したプレゼンの資料をスキャンし、社外から閲覧したり、社内で共有化したりといった具合である。スキャニングは、一般的には一枚一枚の紙原稿をフラットベットスキャナにセットし、スキャン開始ボタンを押すことによって行われるが、ＡＤＦ（Auto Document Feader）を用いると、重ねた紙が自動的に読み取られるため非常に便利である。
読み取った複数枚の原稿を、ページ順に、例えばマルチページＴｉｆの様な一つのファイルにまとめておくと、一つの文書を閲覧するために複数のファイルに対して操作する必要が無くなり、更に便利である。

一方、ＡＤＦを用いる際、稀にミスフィードが発生する事がある。その原因は様々であるが、ミスフィードが発生すると、当然の事ながらページが抜けてしまい、時には肝心の情報を記した領域が抜け落ちてしまう可能性がある。また、仮にミスフィードを察知し、後からミスフィードしたページをスキャニングしたとしても、一つのファイルにまとめるために並べてあったページの順序が狂うことになる。こうなると、スキャニングにより得られた電子文書の閲覧性は非常に低くなる。
更に言うと、紙原稿をページ順に並べてＡＤＦにセットすることは非常に面倒な作業である。これはスキャニングに限った話ではなく、勿論、コピーして出力した際にも同様の問題がある。

このような問題を回避するために、従来では、出力する紙にページ情報の記載されたＲＦＩＤ（Radio Frequency Identification）を付加し、ページ順に異常が見られた際には警告を発したり、どのような順番に並んでいようと、自動的に並べ替えたりする考案が成されている（特許文献１、２）。しかしながら、上記従来技術を電子写真に適用することを考えると、定着の際に大きな圧力と熱がかかり、ＲＦＩＤが破損する事が考えられる。尚、電子写真の出力方式については実施例にて後述する。
また、他の従来技術では、ページ情報を付したバーコードを原稿の特定領域に付加し、上記発明と同様に警告を出したり、ページ順を整えたりといった発明が考案されている（特許文献３）。しかしながら、この手法によると、特定領域にユーザが書き込みを行うことができなくなり、ユーザの文書作成の自由度を損なうと言った問題があった。

更に、ユーザの文書作成の自由度を損なわない情報の付加手段としては例えば、電子透かしと呼ばれる技術が存在する（特許文献４）。電子透かしとは、人間の目に付かないように画像に情報を付加する手段である。例えば、人間が比較的認知しにくい高周波領域に特有のパターンを埋めこむことにより、実現されるものである。しかしながら、付加する情報量が増加すると、画質の劣化が顕著になり、画質と付加情報量とがトレードオフの関係に有ると言える。
更に言うと、一般に電子透かしはセキュリティ向上のために利用されることが多く、例えばユーザ名やコピー回数などが付加される場合が多い。結果、電子透かしが認知できない程度の情報を付加した場合、ページ番号として利用できる領域は非常に限られたものとなる場合が多い。例えば、８ｂｙｔｅの情報が付加されたとして、アルファベット６文字をユーザ名として利用したとすると、アルファベット１文字に要する情報量は１ｂｙｔｅであるため２ｂｙｔｅのみがページ番号として利用できることになる。異なる文書データに付加されるページ番号情報は、少なくとも１／６５５３５（２ｂｙｔｅは６５５３５迄の数字を表現できる）の確率で連なることになる。

更に言えば、異なるプリンタで同様のルールに従ってページ番号を付加したとすると、更にその確率は高くなる。例えばそれぞれのプリンタで１から順番にページ番号情報を付加する事を考えると、そのことは明らかである。
なお、特許文献５としては、１頁目の原稿面を読み取り、１頁目の画像データにおける白色データの割合に基づいてＣＰＵが白紙であるか否かを判断し、１頁目が白紙の場合には、表裏反対にセットされたとして、主記憶部の画像データを逆順に並べ替えて、記憶部に保存するかあるいはプリンタ部に印字出力をさせ、１頁目が白紙でない場合には、原稿が片面のみ画像を有するか、両面に画像を有することを判断し、片面原稿であれば正しくセットされたとして保存または印刷させ、両面原稿であれば、１頁目を表示部５に表示させて使用者に確認させ、正しい場合には保存または印刷させ、違う場合には並べ替えて保存または印刷させる技術が開示されている。
特開２００６−２５４０５８公報 特開２００６−１３０７８４公報 特開２００５−１５３３２６公報 特許第３５７０２１３号 特開２００１−２５１４８３公報 黄瀬浩一,柳田修,"白領域の細線化を用いた文書画像の領域分割",電子情報通信学会論文誌,No.6, pp.1608-1616, 1997 C. Cortes and V.N. Vapnik, "Support vector Networks," Machine Learning, vol.20, pp.273-297, 1995

すなわち、上記従来技術には、以下のような問題点があった。
まず、ミスフィードが発生すると、当然の事ながらページが抜けてしまい、時には肝心の情報を記した領域が抜け落ちてしまう問題があった。
また、ページ情報の記載されたＲＦＩＤを付加し、ページ順に異常が見られた際には警告を発したり、どのような順番に並んでいようと、自動的に並べ替えたりする従来技術を電子写真に適用することを考えると、定着の際に大きな圧力と熱がかかり、ＲＦＩＤが破損する可能性があった。
また、ページ情報を付したバーコードを原稿の特定領域に付加し、警告を出したり、ページ順を整えたりする手法によると、特定領域にユーザが書き込みを行うことができなくなり、ユーザの文書作成の自由度を損なうと言った問題があった。
また、人間が比較的認知しにくい高周波領域に特有のパターンである電子透かしを埋めこむ方法では、付加する情報量が増加すると、画質の劣化が顕著になり、画質と付加情報量とがトレードオフの関係に有る問題があった。

本発明は、上記従来の問題点を鑑みてなされたものであり、その目的は、定着による破損の危険が無く、又ユーザの文書作成の自由度を損なわないページ番号情報付加手段及びページ並べ替え手段を備えた画像形成装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体を提供することである。
本発明の他の目的は、画質の劣化を最小限に抑えつつ、異なるプリンタから得られた出力画像であっても正確にページを並べ替えることの可能なページ並べ替え手段を備えた画像形成装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体を提供することである。

上述の目的を達成するために、請求項１記載の発明は、複数ページの原稿を読み取って画像を形成する画像形成装置であって、前記原稿を読み取って画像データを生成する画像読取手段と、前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込む情報埋め込み手段と、前記原稿に埋めこまれた情報を抽出する情報抽出手段と、前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するページ番号取得手段と、前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるページ順序判定手段と、を具備することを特徴とする。
また、請求項２記載の発明は、前記画像形成装置は、更に、前記画像読取手段で読み取った画像データを記憶する記憶手段を具備し、前記記憶手段が、複数ページの画像データを一つのグループとして記憶することを特徴とする。

また、請求項３記載の発明は、前記ページ順序判定手段が、前記複数ページの画像データの画像類似度を判定する画像類似度判定手段を有し、この判定された画像の類似度によって前記原稿のページを並び替えると共に、前記原稿のページをグループ統合することを特徴とする。
また、請求項４記載の発明は、前記ページ順序判定手段が、前記原稿のページの並べ替え、あるいは前記原稿のページのグループの統合を行う際に、ユーザ確認をさせる確認手段を具備することを特徴とする。
また、請求項５記載の発明は、前記画像類似度判定手段は、少なくとも前記原稿のページの文書タイプを判定する文書タイプ識別手段を有することを特徴とする。
また、請求項６記載の発明は、前記ページ順序判定手段が、前記抽出されるページ番号情報の開始ページをランダムに決定することを特徴とする。

また、請求項７記載の発明は、前記ページ順序判定手段が、前記記憶手段に既に記憶されている各ページ番号と入力された番号とが近い数字であるかを判定するページ番号近接判定手段を有しており、前記画像類似度判定手段が、前記ページ番号近接判定手段よりも後段に配されており、前記ページ番号近接判定手段により近いページが存在しなかった場合には、前記画像類似度判定手段における類似度判定を行わないことを特徴とする。
また、請求項８記載の発明は、複数ページの原稿を読み取って画像を形成する画像形成装置における画像処理方法であって、画像読取手段により前記原稿を読み取って画像データを生成するステップと、情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備することを特徴とする。

また、請求項９記載の発明は、画像読取手段により前記原稿を読み取って画像データを生成するステップと、情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備する画像処理方法をコンピュータに実行させるプログラムを特徴とする。
また、請求項１０記載の発明は、画像読取手段により前記原稿を読み取って画像データを生成するステップと、情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備する画像処理方法を達成するコンピュータプログラムが記載された情報記録媒体を特徴とする。

本発明によれば、ページ番号情報を画像中に埋込み、読み取り時に抽出し、原稿のページ順序を判定し、その判定されたページ順序に基づいて原稿のページを並び替えることを可能としたため、ミスフィードなどが発生した場合に、ユーザに適切な処理を提示できユーザの利便性が向上する。
また、本発明によれば、ページ番号情報を画像中に埋込み、読み取り時に抽出、抽出した情報に応じてスキャンした画像をページ順に一つのファイルにまとめて記憶されることにより、ユーザのファイル取り扱いの利便性が向上する。
また、本発明によれば、画像類似度判定手段を具備することにより、入力された画像と記憶領域に存在する画像データとにページ情報において連続性があったとしても、異なるファイルを一つのファイルにまとめる事が無くなりユーザの利便性が向上する。

また、本発明によれば、ページの並べ替えを自動的に行うのではなく、ユーザの確認を伴ってのみ行うことで、ユーザにとってはより細やかな操作が可能となり、利便性が向上する。
また、本発明によれば、本来異なっているはずである、入力された画像と記憶領域に含まれる画像との類似度判定を文書タイプによって行うことで、明確に入力された画像が記憶領域に含まれる一連の画像ファイルの一部であるかを判定する際の精度が向上する。
また、本発明によれば、ページ情報の開始ページがランダムに決められることにより、異なるプリンタによってページ情報が埋めこまれたとしても、それらが重複する可能性が低くなりユーザの利便性が向上する。
また、本発明によれば、ページ番号近接判定手段により近いページが存在しない場合に類似度判定を行わないことにより、処理速度が向上しユーザの利便性が向上する。

以下に添付の図を参照してこの発明の実施形態を詳細に説明する。
［実施例］
本発明の好適な実施例として電子写真方式のＭＦＰ（Multi Function Printer：画像形成装置）でのコピーを例に挙げて説明する。
図１は、本発明による画像形成装置の一実施形態の概略構成ブロック図である。
図１に示すように、この画像形成装置は、原稿を読み取るスキャナ部１と、スキャナ部１及びネットワーク３を介して取得した画像データを保持する記憶装置５と、スキャナ部１から取り込まれた画像やネットワーク３を介して取得した画像データを処理する画像処理部７と、スキャナ部１から取り込まれた画像やネットワーク３を介して取得した画像データを直接、若しくは記憶装置５に保持された画像データを出力するプリンタ部９とを有している。

この画像形成装置においては、スキャナ部１により得られた画像データを全て一度記憶装置５に保持してからプリンタ部９によって出力するものとする。
まず、プリンタ部９の概要について述べる。図２は、図１に示したプリンタ部９の概略構成図である。
ここでは、ＰＣのアプリケーションにより作成した画像は、ドライバによってビットマップデータ（以下画像データ）に変換される。更に画像データはプリンタが出力できるように中間調処理を施される。中間調処理後の画像データはさらに、以下に記載の所定の処理を施される。

図２において、光源１１は、シアンの画像データに応じて光を発し、感光体１３では光電効果により静電気が生じ、静電気を帯びた感光体１３に対し、リボルバー１５を回してシアンの現像ユニット１７から電荷を帯びたトナーを供給し像を作る。同様にＭＹＫの像を作ることにより、感光体１３上にはＣＭＹＫの像が作られる。
最後に感光体１３に搬送ベルト１９によって搬送されてくる静電気を帯びた紙を密着させることにより紙の上に像が作成される。紙の上に作成された像はあくまでも紙の上に乗っているだけに過ぎないため、高温、高圧の負荷をかけることにより定着され、出力画像が得られる。ここで、かかる負荷の大きさはかなりのものなので、ページ情報の記載されたＲＦＩＤ（Radio Frequency Identification）を付加した場合、紙に負荷されたＲＦＩＤが破壊されてしまう可能性がある。

次に、図３のフローチャートおよび図４を参照して、図１に示した画像形成装置の動作について説明する。図３は、図１に示した画像形成装置の動作フローチャートである。また、図４は、図１に示した画像処理部７の構成ブロック図である。
まず、図３のステップ１０１において、ＭＦＰ操作に際して、ＩＤカードとパスワードによりユーザが特定され認証処理が行なわれる。ここで、ユーザはアスキー文字６文字の固有なユーザ名を持つものとする。そして、ユーザがＡＤＦに原稿をセットし、コピー開始のボタンを押すと、ＡＤＦによって供給された原稿がスキャナ部１によって光学的に読み取られ、画像処理部７においてＡＤ変換によりデジタル一画素あたり１ｂｙｔｅの信号へと変換される（ステップ１０３）。
次に、画像処理部７の情報抽出部２１によって、画像に埋めこまれた情報が存在するかが判定され、且つ存在していた場合、６４ｂｉｔの情報が取得される（ステップ１０５） この情報抽出部２１については後に詳述する。

次に、図５に示すように、画像処理部７の埋込情報取得部２３のユーザ名取得部２３ａにより、前記６４ｂｉｔの画像のユーザ名にあたる上位４８ｂｉｔの情報が読み出され、アスキーコード表に従って４８ｂｉｔの情報がアスキー文字６字に変換される（ステップ１０７）。もし、６４ｂｉｔの情報が存在しない場合、ｎｕｌｌ文字である００を６文字分出力する。図５は、図４に示した埋込情報取得部２３の構成ブロック図である。
一方、図５に示すように、埋込情報取得部２３のページ番号取得部２３ｂは、前記６４ｂｉｔのうちページ番号にあたる下位１６ｂｉｔを読み出し、１０進数に変換し、出力する。もし６４ｂｉｔの情報が存在しない場合、０を出力する（ステップ１０７）。

次に、画像処理部７の埋込情報生成部２５では読み取った画像に対し、埋めこむべき情報を生成する（ステップ１０９）。ここで埋めこまれる情報は、埋込情報取得部２３により取得されるのと同様のユーザ名とページ番号である。なお、埋込情報生成部２５に関しては、後述する。
埋込情報は、スキャナ部１により得られた画像データと対にして記憶装置５にて記憶される（ステップ１１３）。ここで、画像データは、ページ順に１つにまとめて記憶される。同時に埋込情報生成部２５により得られたページ番号はページ順序判定部２７へと送られ、ページ順序判定部２７では埋込情報生成部２５により得られたページ番号に基づいてページの出力順序を判定し、このページ出力順序判定に基づいて、必要とされる場合、並び替え、もしくはグループ統合して記憶させる（ステップ１１１）。ページ順序判定部２７については後述する。
ページ順序判定部２７により得られたページ順序に従って、記憶装置５より画像データ及びそれに対応する埋込情報が読み出され、埋込部２９で、この読み出された画像データに埋込情報がユーザの目に認識できない様に埋めこまれ、これにより得られた画像データがプリンタ部９へ送られ、画像情報と共にプリンタ部９より出力される（ステップ１１３、１１５、１１７）。なお、埋込２９に関しては後述する。
なお、図４に示すように、この画像処理部７は、情報抽出部２１と、埋込情報取得部２３と、埋込情報生成部（ページ番号取得手段）２５と、ページ順序判定部２７と、埋込部２９とを有している。
以上の様に、本発明のポイントは、まず、埋込にＲＦＩＤやバーコードを用いずに電子透かしを用いることによって、上述の様な並べ替えを達成していることにある。

従来技術で述べたとおり、ＲＦＩＤは電子写真方式の定着により破壊される可能性があり、また、大量に出力されることを想定すると、高コストであるというデメリットがある。またバーコードも、ユーザの文書編集の自由度を損なわせると言ったデメリットがある。一方、電子透かし方式では、原稿を加工するだけであるのでどのような印刷方式であっても利用可能であり、出力時に追加のコストもかからず、ユーザの文書編集の自由度を損なう心配もない。
更に、本発明のもう一つのポイントは、電子透かしにより埋めこまれた情報だけでなく、画像の類似度判定をページ並び替えの参考情報として用いている点にある。電子透かし方式は原稿を加工してしまうため、多くの情報量を埋めこもうとすると画質が大きく劣化してしまうことになる。画質を良好に保つため埋めこむ情報量を削減すると、当然の事ながらページ番号に割り振られる情報量も少なくなる。つまり、ページ番号として付加できる数字の桁数が小さくなる。すると、数字の大きさが限られるため、本来は異なる文書であるのに、同じ文書で有ると判定される可能性が増加する。このようなケースに於いても画像の類似度を判定し、異なる文書であることを検出できれば異なる文書を統合してしまうことを防止することができる。
以上のように、本発明を適用することにより、ユーザが複数枚の原稿のページ順序を整えずにＡＤＦにセットしたとしても、出力されるのは本来のページ順序となり、ユーザの手間を大幅に削減することが可能である。

次に、画像処理部７内の各構成要素について説明する。
［埋込情報生成部２５］
次に、埋込情報生成部２５について詳述する。埋込情報生成部２５は、図６に示す様に、ユーザ名生成部２５ａと、ページ番号生成部２５ｂと、乱数生成部２５ｃとを有している。図６は、図４に示した埋込情報生成部２５の構成ブロック図である。
図６に示す様に、ユーザ名生成部２５ａは、埋込情報取得部２３により出力されたユーザ名がｎｕｌｌで無かった場合、埋込情報取得部２３より得られたユーザ名をそのまま出力する。
一方、ユーザ名生成部２５ａは、ユーザ名がｎｕｌｌであった場合、認証処理により得られたユーザ名をユーザ名として出力する。ページ番号生成部２５ｂは、埋込情報取得部２３より得られたページ番号が０でなかった場合、埋込情報取得部２３より得られたページ番号をそのまま出力する一方、得られたページ番号が０であった場合、複数枚の原稿のスキャンが始まってから終わるまでに入力された画像の入力された順番に沿ってページ番号をインクリメントさせながらページ番号を生成する。但し、初めのページ番号に関しては乱数生成部２５ｃによりの番号を用いる。従って、ページ情報の開始ページがランダムに決められることになり、異なるプリンタによってページ情報が埋めこまれたとしても、それらが重複する可能性が低くなりユーザの利便性が向上する。

［埋込部２９］
次に、埋込部２９について詳述する。埋込部２９は、図７に示すように、ＤＣＴ部２９ａと、付加部２９ｂと、逆ＤＣＴ部２９ｃとを有している。図７は、図４に示した埋込部２９の構成ブロック図である。
図７に示すように、ＤＣＴ部２９ａは、入力画像の８×８画素毎を一ブロックとしてＤＣＴを施しＤＣＴ係数を生成する。付加部２９ｂでは、まず、ＤＣＴ係数の高周波を示す領域２×２画素分の値を０にし、更に４ブロック×４ブロックを一単位としてそれぞれに、埋込情報に従って１ビットの情報を付加する。こうすることで（２画素×２画素）×（４ブロック×４ブロック）で６４ｂｉｔの情報を付加できる。このとき４ブロック×４ブロックの繰り返し毎に、同じ情報を付加するものとする。こうすることで、出力後スキャンによって画質が劣化したり、改変されたりしても同じ情報が様々な領域で埋めこまれているので、正確に埋めこまれた情報を抽出できる可能性が高まる。最後に、逆ＤＣＴ部２９ｃは、情報の付加された画像データを逆ＤＣＴすることで、出力画像を得る。

［埋込情報取得部２３］
次に、埋込情報取得部２３について詳述する。埋込情報取得部２３は、図８に示すように、ＤＣＴ部２３ａと、読み出し部２３ｂとを有している。図８は、図４に示した埋込情報取得部２３の構成ブロック図である。
図８に示すように、ＤＣＴ部２３ａにより入力画像データにＤＣＴを施す。読み出し部２３ｂでは、ＤＣＴ後の画像データの８×８画素を１ブロックとし、それらの高周波領域２×２画素からそれぞれ１ｂｉｔの情報を抽出する。更に、４×４ブロックから読み出された情報を統合して６４ｂｉｔの埋込情報を出力する。

［ページ順序判定部２７］
次に、ページ順序判定部２７について詳述する。ページ順序判定部２７は、図９に示すように、記憶部２７ａと、ページ番号近接判定部２７ｂと、画像類似度判定部２７ｃと、確認部２７ｄと、ページ並べ替え部２７ｅとを有している。図９は、図４に示したページ順序判定部２７の構成ブロック図である。
図９に示すように、入力は埋込情報生成部２５で生成されたページ番号であり、入力されたページ番号は記憶部２７ａに保持される。ここで、記憶部２７ａに保持されるデータの構造は図１３に示した表のようになる。ここで、カテゴリとは本画像処理装置において判定された文書種を示す。本実施例で想定している入力画像は複数枚から成る文書が複数種混在したものであり、カテゴリはそれぞれの複数枚からなる文書を示すことになる。図１３は、記憶部２７ａに保持されるデータの構造を示す表である。なお、この記憶部２７ａは、記憶装置５に含まれるものとする。

次に、入力されたページ番号は同様にページ番号近接判定部２７ｂへと送られる。ページ番号近接判定部２７ｂは、記憶部２７ａに既に記憶されている各ページ番号と入力された番号とが近い数字であるかを判定する。どれだけの差をもって近いとするかは本実施形態では２０としたが、勿論他の数字でも構わないし、ユーザが設定できる様にしておいても構わない。ページ番号近接判定部２７ｂでページ番号が近いものが存在していると判定された場合、画像類似度判定部２７ｃでは、当該ページの画像を記憶装置５より読み出し、画像の類似度を判定する。画像類似度判定部２７ｂについては後述する。なお、ページ番号近接判定部２７ｂでページ番号が近いものが存在していないと判定された場合、画像類似度判定部２７ｃでは、画像の類似度判定は行なわれない。
そして、画像類似度判定部２７ｂにて２つのページが十分に近いと判定された場合、確認部２７ｄは、ユーザにページ順番入れ替えの旨を伝え、ユーザ確認を促して、ユーザの指示を仰ぐ。本実施形態では電子透かし及び画像の類似度判定を組み合わせることで、高精度にページ順序の重複を防止しているが、勿論、ページ順序の重複が発生する可能性も存在する。最終的な判断をユーザにおこなってもらうことで、ページ重複の発生を完全に防止することができる。一方、ユーザの操作が煩雑になってしまう可能性があるため、確認部２７ｄの有効無効はユーザが任意に設定できることが望ましい。確認部２７ｄによりユーザがページ順序の入れ替えを指示した場合、ページ並べ替え部２７ｅにて記憶部２７ａに存在するページの並べ替えを行う。

ページ並べ替え部２７ｅでは、前段のページ番号近接判定部２７ｂ若しくは、画像類似度判定部２７ｃ若しくは確認部２７ｄによって、既に存在しているどのカテゴリにも属さないと判定された場合、記憶領域に新しいカテゴリを作成し、そこへページ番号を登録する。また、いずれかのカテゴリに含まれると判定された場合には、ページ番号を該カテゴリに挿入した後、小さい順に並べ替える。尚、並べ替える方法としてはごく一般的な方法としてバブルソートを用いた。最後に、スキャンが終わった時点で、記憶部２７ａに存在するページ番号をカテゴリ１のページ番号が若い順、続いてカテゴリ２のページ番号が若い順といった具合に順に並べて出力とする。

［画像類似度判定部２７ｃ］
次に、画像類似度判定部２７ｃについて詳述する。画像類似度判定部２７ｃは、図１０に示すように、領域分割部３０ａと、特徴量算出部３０ｂと、オブジェクト種判定部３０ｃと、帳票判定部３０ｄと、スライド判定部３０ｅと、文書判定部３０ｆと、総合判定部３０ｇと、記憶部３０ｈと、類似度判定部３０ｉとを有している。図１０は、図９に示した画像類似度判定部２７ｃの構成ブロック図である。
図１０に示すように、比較される２枚の画像、以降第一の画像及び第二の画像が順に画像類似度判定部２７ｃに入力されると、まず、第一の画像が領域分割部３０ａに入力され、領域分割３０ａは、入力された画像を文字領域、絵柄領域といったオブジェクト毎に分割する。尚具体的な領域の分割方法については、非特許文献１記載の方法を用いる。
その概要はまず二値化により白領域を背景として抽出する。ここで二値化は濃度１２７以上を白とする単純な二値化を用いた。次に、白領域を細線化することでチェーンが連なった様な画像を得る。更に数式１を満たす不要なチェーンを除去することで、領域の境界を得ることができる。尚、数式１においてＤとは最小距離、Ｗとは平均線幅差、ｔＤ、ｔＷはそれぞれ事前に設定しておくそれぞれの閾値となっている。これら用語の説明は非特許文献１に譲るが、本実施例ではｔＤ＝５、ｔＷ＝３０を用いた。更に、領域分割部３０ａでは上記境界を包含する矩形を算出する。
（数式１）

そして、特徴量算出部３０ｂでは及び領域分割部３０ａで得られた領域毎に、平均色、エッジ総量、中心位置からのモーメントからなる特徴量を算出し、オブジェクト種判定部３０ｃに送る。オブジェクト種判定部３０ｃは、領域分割部３０ａによって得られた矩形領域がどのようなオブジェクトであるか判定する。ここでいうオブジェクトとは、文字列、背景、その他、である。ここでは後述するサポートベクタマシンを用いて事前に学習しておき、入力画像の特徴からオブジェクト種が推定する。

次に、帳票判定部３０ｄ、スライド判定部３０ｅ、文書判定部３０ｆは、それぞれ、オブジェクト種判定部３０ｃにより得られたオブジェクト種の構成割合（３次元）を特徴量として、帳票らしさ、スライドらしさ、文書らしさ、を事前にサポートベクタマシンにより学習した識別器によって出力する。サポートベクタマシンは後述する様に、一般的に二値的な判定を行う識別器であるが、入力特徴量が識別面からどれだけ離れて居るかを算出することが可能であり、これを以て、帳票らしさ、スライドらしさ、文書らしさとする。
以上の帳票らしさ、スライドらしさ、文書らしさの大小、すなわち文書タイプを総合判定部３０ｇにより判定し、最も尤もらしいものをもって文書のタイプとする。第一の画像が入力された場合は、前記文書タイプは記憶部３０ｈにより、記憶され、一方第二の画像が入力された場合は、記憶部３０ｈより読み出された第一の文書タイプと第二の画像の文書タイプが一致するかどうかを類似度判定部３０ｉにより判定する。なお、この記憶部３０ｈは、記憶装置５に含まれるものとする。

次に、サポートベクタマシンの概要について説明する。詳細は非特許文献２に記載されているが、その概要は以下の様になる。図１１は、サポートベクタマシン（ＳＶＭ）の動作の概要を示した説明図である。
まず、前提条件として、図１１の左に示すように○×で表される二つの種類のベクトル群が存在するものとする。ＳＶＭはこれら二つのクラスを最適に分離するための超平面（図の右参照）を決定するためのアルゴリズムといえる。ＳＶＭにおいて、二つのベクトル群を最適に分割するとは、未知のベクトルが入力されたときの対応能力、つまり汎化能力を最大とするということと等価である。これを実現するために、二つのベクトル群の境界位置に存在するベクトル（Support Vector）を見つけて、Support Vectorと超平面との距離が最大となるように超平面を設定する。ここで、実動作上、間違いの教師データも存在するため、間違いの許容量（ソフトマージン）を設定するパラメータを決める必要がある。以上は、線形ＳＶＭについての説明であるが、実際の教師データは線形判別できるベクトル群とは限らない。しかし、特徴量ベクトルを、より高次の空間に射影し（カーネルトリック）、その空間上で超平面を求めることで、非線形な問題にも対応できる。

以上を実現するには、結果的に、教師データ（ｘｉ，ｙｉ）を用いて数式２の条件下で数式３を最大化するラグランジェ乗数ベクトルαｉを求めることになる。その後ラグランジェ乗数ベクトルの要素のうち０でない要素に対応する教師データ群Ｓ（これがサポートベクタとなる）と、そのうちの任意の一つの教師データ（ｘ０，ｙ０）を用いて超平面のパラメータω、ｈを求める（数式４、５）。
（数式２）

（数式３）

（数式４）

（数式５）

尚、上記数式に於いてＫ（ｘ，ｙ）はカーネルトリックを実現するためのカーネル関数を示す。カーネル関数には様々なものが考案されているが、今回の実施例ではRadial Basis Function（ＲＢＦ）を用いた。ＲＢＦは数式６で示される関数でＣは任意の数字である。
（数式６）

以上の様に、埋めこまれたページ番号情報のみでなく、類似画像判定を付加することで、異なる文書のページが重複していた場合でも、正しくページの並べ替えができる可能性が高くなる。更に本実施例で述べた様に、文書タイプを識別し、これにより類似画像判定を行う構成としたが、これは以下の理由による。例えばパタンマッチングなどを用いて画像の類似度判定を行う場合を考えると、得られる類似度は近さを示す量になる。つまり、これが実際に類似しているか否かを判定するためには一種の閾値を用いねば成らない。更に、本実施例では一致する二つの文書の類似度を判定するのではなく、ページの異なる二つの文書の類似度を判定しようとするため、閾値の設定は難しくなる。結果実用的にはユーザが閾値を設定し、試行錯誤の上で決定しなければ成らない。一方、文書タイプ識別は、二値的な判断であり、似ているか似ていないかは文書のタイプが一致するか一致しないかという二値的な判断に成るため、上記の様な問題は発生しない。

次に、図１に示した画像形成装置の一実施形態を用いてスキャンを行う場合について説明する。図１２は、図１に示した画像形成装置の一実施形態を用いたスキャン動作のフローチャートである。
なお、ここに記憶される、スキャン後の画像データは、必ずしもページ毎に管理される訳でなく、マルチページＴｉｆｆであったりＰＤＦといった複数のページを一つのファイルにまとめて管理されているものとする。
図１２のステップ２０１において、原稿がスキャナ部１により光学的に読み取られた後、画像処理部７においてＡＤ変換されて１画素一色あたり８ｂｉｔのＲＧＢ画像データへ変換され、画像データに埋めこまれた６４ｂｉｔの埋込情報が抽出される（ステップ２０３）。次に、抽出された情報からユーザ名を表す情報と、ページ番号を表す情報が抽出され（ステップ２０５）、抽出されたページ番号に基づいて、入力された原稿が既に記憶装置５に記憶された画像データの一部であるかを判定する（ステップ２０７）。
そして、ページ順序判定で入力された原稿が既に記憶装置５に記憶された画像データの一部で有ると判定された場合、既に記憶装置５に存在する該画像データに適切に入力された原稿画像を統合して記憶装置５に記憶する（ステップ２０９、２１１）。

以上の様な構成とすることで、ユーザはスキャン時の様々な作業から解放される。例えば、前述した様に、混在した複数の文書を整理して並べ替えなくとも、記憶手段に保持されるファイルは文書毎に、しかも正しいページ順で並ぶことになる。更に、ＡＤＦにセットした文書のページが一枚だけ抜けていた場合でも、後からその一枚をスキャンすることで自動的に正しい文書に正しいページ順で挿入してくれる。

本発明による画像形成装置の一実施形態の概略構成ブロック図である。 図１に示したプリンタ部９の概略構成図である。 図１に示した画像形成装置の動作フローチャートである。 図１に示した画像処理部７の構成ブロック図である。 図４に示した埋込情報取得部２３の構成ブロック図である。 図４に示した埋込情報生成部２５の構成ブロック図である。 図４に示した埋込部２９の構成ブロック図である。 図４に示した埋込情報取得部２３の構成ブロック図である。 図４に示したページ順序判定部２７の構成ブロック図である。 図９に示した画像類似度判定部２７ｃの構成ブロック図である。 サポートベクタマシン（ＳＶＭ）の動作の概要を示した説明図である。 図１に示した画像形成装置の一実施形態を用いたスキャン動作のフローチャートである。 記憶部２７ａに保持されるデータの構造を表で示す図である。

符号の説明

１…スキャナ部、３…ネットワーク、５…記憶装置、７…画像処理部、９…プリンタ部、１１…光源、１３…感光体、１５…リボルバー、１７…現像ユニット、１９…搬送ベルト、２１…情報抽出部、２３…埋込情報取得部、２３ａ…ユーザ名取得部、２３ｂ…ページ番号取得部、２５…埋込情報生成部、２５ａ…ユーザ名生成部、２５ｂ…ページ番号生成部、２５ｃ…乱数生成部、２７…ページ順序判定部、２７ａ…記憶部、２７ｂ…ページ番号近接判定部、２７ｃ…画像類似度判定部、２７ｄ…確認部、２９…埋込部、２９ａ…ＤＣＴ部、２９ｂ…付加部、２９ｃ…逆ＤＣＴ部、３０ａ…領域分割部、３０ｂ…特徴量算出部、３０ｃ…オブジェクト種判定部、３０ｄ…帳票判定部、３０ｅ…スライド判定部、３０ｆ…文書判定部、３０ｇ…総合判定部、３０ｈ…記憶部、３０ｉ…類似度判定部

Claims (10)

1. 複数ページの原稿を読み取って画像を形成する画像形成装置であって、
   前記原稿を読み取って画像データを生成する画像読取手段と、
   前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込む情報埋め込み手段と、
   前記原稿に埋めこまれた情報を抽出する情報抽出手段と、
   前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するページ番号取得手段と、
   前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるページ順序判定手段と、を具備することを特徴とする画像形成装置。
2. 前記画像形成装置は、更に、前記画像読取手段で読み取った画像データを記憶する記憶手段を具備し、前記記憶手段が、複数ページの画像データを一つのグループとして記憶することを特徴とする請求項１に記載の画像形成装置。
3. 前記ページ順序判定手段が、前記複数ページの画像データの画像の類似度を判定する画像類似度判定手段を有し、この判定された画像の類似度によって前記原稿のページを並び替えると共に、前記原稿のページをグループ統合することを特徴とする請求項２に記載の画像形成装置。
4. 前記ページ順序判定手段が、前記原稿のページの並べ替え、あるいは前記原稿ページのグループの統合を行う際に、ユーザ確認をさせる確認手段を具備することを特徴とする請求項３に記載の画像形成装置。
5. 前記画像類似度判定手段は、少なくとも前記原稿のページの文書タイプを判定する文書タイプ識別手段を有することを特徴とする請求項３又は４に記載の画像形成装置。
6. 前記ページ順序判定手段が、前記抽出されるページ番号情報の開始ページをランダムに決定することを特徴とする請求項２、３又は４に記載の画像形成装置。
7. 前記ページ順序判定手段が、前記記憶手段に既に記憶されている各ページ番号と入力された番号とが近い数字であるかを判定するページ番号近接判定手段を有しており、前記画像類似度判定手段が、前記ページ番号近接判定手段よりも後段に配されており、前記ページ番号近接判定手段により近いページが存在しなかった場合には、前記画像類似度判定手段における類似度判定を行わないことを特徴とする請求項３に記載の画像形成装置。
8. 複数ページの原稿を読み取って画像を形成する画像形成装置における画像処理方法であって、
   画像読取手段により前記原稿を読み取って画像データを生成するステップと、
   情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、
   情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、
   ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、
   ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備することを特徴とする画像処理方法。
9. 画像読取手段により前記原稿を読み取って画像データを生成するステップと、情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備する画像処理方法をコンピュータに実行させるプログラム。
10. 画像読取手段により前記原稿を読み取って画像データを生成するステップと、情報埋め込み手段により前記画像読取手段で読み取った原稿に電子透かし方式で少なくとも前記原稿のページ番号を有する情報を埋め込むステップと、情報抽出手段により前記原稿に埋めこまれた情報を抽出するステップと、ページ番号取得手段により前記情報抽出手段が読み取った情報から前記原稿のページ番号を取得するステップと、ページ順序判定手段により前記ページ番号取得手段が取得したページ番号に基づいて前記画像読取手段が読み取った前記原稿のページ順序を判定し、前記判定されたページ順序に基づいて前記原稿のページを並び替えるステップと、を具備する画像処理方法を達成するコンピュータプログラムが記録された情報記録媒体。

Images