JP2006135664A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】 追記前の文書原本を予め用意しておかなくても、その文書原本の内容と、その文書原本に追記された内容とを分離して保存しておくことを可能とする。
【解決手段】 制御部１１は、画像処理装置１に入力された画像データに含まれる各画素の色を代表色に変換するとともに、これらの代表色のうち少なくともいずれか２色を基本色として特定する。そして、制御部１１は、代表色に変換された画像データを、基本色の画素からなる原本画像データと、その基本色以外の代表色の画素からなる追記画像データとに分離し、これらをそれぞれ対応付けて不揮発性記憶部１２に記憶する。制御部１１は、このように方法で画像データを分離して記憶することによって、原本画像データによって表される原本画像、追記画像データによって表される追記画像、または原本画像と追記画像とが重ね合わせられた画像のうち、操作者に指定された画像を表示部１４に表示させることができる。
【選択図】 図１

Description

本発明は、文書原本に追記された文字や記号などのアノテーションを抽出するための技術に関する。

文書には、各種のコメントや、校正ないし修正の指示などが記されたり、或いは、その文書の内容を承認したことを示すための承認者のサインや印影などが付されることがある。このような各種の追記がなされた文書（以下、追記文書という）をスキャナで読み込んで、追記された内容（以下、追記部分という）と、その追記前の文書原本の内容とを対応付けて保存しておけば、これを様々な利用シーンで活用することができる。例えば、或る承認者のコメントだけを一斉に検索するといったように、追記部分のみを対象とした検索作業を行うことが可能となる。また、文書原本のみを表示した画面と、文書原本に追記部分を重ね合わせて表示した画面とを、ユーザの操作に応じて切り替えて表示する、といった使い方も可能である。

そこで、従来から、上記のような追記部分だけを抽出するための技術が提案されている。例えば特許文献１には、文書原本と、その原本に追記がなされた追記文書を比較照合することにより、追記部分のみを抽出するという技術が記載されている。特許文献２には、ある文書がすでにデータベースに登録済みの文書Ａの追記文書Ｂであった場合には、その追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出し、抽出した画像データを文書Ａに対応付けるという仕組みが提案されている。そして、特許文献３には、特許文献２に記載されているように追記文書Ｂと文書Ａとを比較して追記部分の画像データを抽出したうえで、その追記部分の画像データに関する情報（例えばキーワードや更新日時）をユーザが入力し、これらの入力情報を追記部分の画像データと共に記憶しておくことが記載されている。これにより、保存後の検索作業において、例えばキーワード検索を行って所望の文書を抽出するといったような利用形態を想定している。
特開昭６１−２６７１７７号公報 特開平８−３１７１５５号公報 特開２０００−１４８７９０号公報

ところが、上述した特許文献１〜３のいずれにおいても、予め電子データ化して保存された文書原本と、その文書原本に追記がなされた追記文書とを比較することで追記部分を抽出するという方法を採用している。このような方法は、文書原本を予め用意しておくことができれば都合がよいが、実際には、文書原本を入手することができず、追記文書しか手元にはない、といった場合もある。よって、このような場合であっても対処できるような新たな仕組みが必要である。

本発明は、上述した背景に鑑みてなされたものであり、その目的は、追記前の文書原本を予め用意しておかなくても、その文書原本の内容と、その文書原本に追記された内容とを分離して保存しておくことが可能な技術を提供することにある。

上述の目的を達成するために、本発明は、画像データが入力される入力手段と、入力された前記画像データに含まれる各画素の色を、複数の代表色のいずれかに変換する限定色化手段と、前記複数の代表色のうち少なくともいずれか２色を、前記画像データにおける基本色として特定する基本色特定手段と、前記限定色化手段によって各画素の色が代表色に変換された画像データを、前記基本色の画素からなる原本画像データと、当該基本色以外の代表色の画素からなる追記画像データとに分離する分離手段と、前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段とを備えた画像処理装置を提供する。この画像処理装置によれば、入力手段に入力された画像データに含まれる各画素の色を幾つかの代表色に変換する一方、これら代表色のうち少なくともいずれか２色を基本色として特定する。そして、各画素の色が代表色に変換された画像データを、基本色の画素からなる原本画像データと、当該基本色以外の代表色の画素からなる追記画像データとに分離し、これらをそれぞれ対応付けて記憶手段に書き込む。

また、本発明は、画像データが入力される入力手段と、入力された前記画像データを、所定の閾値より低い彩度の色からなる原本画像データと、前記閾値以上の彩度の色からなる追記画像データとに分離する分離手段と、前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段とを備えた画像処理装置を提供する。このようにして原本画像データと追記画像データとを記憶手段に記憶させておけば、この記憶手段から原本画像データまたは追記画像データを読み出し、これらを任意の態様で表示・出力することが可能となる。例えば、前記記憶手段によって記憶されている原本画像データまたは追記画像データに基づいて、前記原本画像データによって表される原本画像、前記追記画像データによって表される追記画像、または前記原本画像と前記追記画像とが重ね合わせられた追記原本画像のうち、指定された画像を表示手段に表示させる表示制御手段を備えるようにしてもよい。

また、本発明は、画像データが入力される入力手段と、入力された前記画像データに含まれる画素を、これら画素の色の彩度と明度に基づいて、彩度が所定の閾値以上である第１の画素と、彩度が前記閾値未満であって明度が比較的高い第２の画素と、彩度が前記閾値未満であって明度が中程度の第３の画素と、彩度が前記閾値未満であって明度が比較的低い第４の画素とに分類する分類手段と、入力された前記画像データを、前記第２の画素と前記第４の画素からなる原本画像データと、前記第１の画素と前記第３の画素からなる追記画像データとに分離する分離手段と、前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段とを備えた画像処理装置を提供する。このようにして原本画像データと追記画像データとを記憶手段に記憶させておけば、この記憶手段から原本画像データまたは追記画像データを読み出し、これらを任意の態様で表示・出力することが可能となる。例えば、前記記憶手段によって記憶されている原本画像データまたは追記画像データに基づいて、前記原本画像データによって表される原本画像、前記追記画像データによって表される追記画像、または前記原本画像と前記追記画像とが重ね合わせられた追記原本画像のうち、指定された画像を表示手段に表示させる表示制御手段を備えるようにしてもよい。

本発明の好ましい態様においては、前記分離手段は、前記追記画像に含まれる追記オブジェクトを決められた条件に従ってグルーピングして、そのグループ別に前記追記画像データを分離し、前記記憶制御手段は、グループ別に分離された前記追記画像データを前記原本画像データに対応付けて記憶し、前記表示制御手段は、前記追記画像または前記追記原本画像を表示する際には、それぞれの前記グループ単位で前記追記オブジェクトを表示させる。例えば、前記分離手段は、前記追記画像データに複数色の画素が含まれる場合には、それぞれの色別に前記追記オブジェクトをグルーピングして、そのグループ別に前記追記画像データを分離し、前記表示制御手段は、前記追記画像または前記追記原本画像を表示する際には、色別に前記追記オブジェクトを表示させる。このようにすれば追記オブジェクトを色毎に表示することが可能となる。

また、前記分離手段は、前記追記画像に複数の追記オブジェクトが含まれる場合には、決められた閾値よりも近い距離に位置する追記オブジェクトどうしをグルーピングして、そのグループ別に前記追記画像データを分離するようにしてもよい。このようにすれば互いに近傍に配置された追記オブジェクトどうしをまとめて表示することが可能となる。

本発明の好ましい態様においては、操作者が入力操作を行うための操作手段を備え、前記基本色特定手段は、操作者が前記操作手段を用いて指定した色を前記基本色として特定する。このような構成は、操作者が予め基本色を特定し得る場合に便利である。

また、本発明の好ましい態様においては、前記基本色特定手段は、入力された前記画像データの内容を解析し、その解析結果に基づいて前記基本色を特定する。例えば、前記基本色特定手段は、入力された前記画像データに含まれる各画素の色の出現頻度を求め、その出現頻度が多いほうの色から順番に決められた数の色を前記基本色として特定するようにしてもよい。また、前記基本色特定手段は、入力された画像データに含まれる各画素の色毎の配置分布に基づいて、最も広い面積にわたって配置されている画素の色と、その次に広い面積にわたって配置されている画素の色とを求め、その少なくとも２色を前記基本色として特定するようにしてもよい。このようにすれば、操作者が予め基本色を指定する必要がない。

また、前記基本色特定手段は、画像形成装置によって再現可能な色再現域を表すガミュート情報を予め記憶しておき、入力された前記画像データに含まれる画素の色のうち、前記ガミュート情報が表す色再現域に含まれる色を前記基本色と特定する。一般的な画像形成装置はいわゆる蛍光色を再現できない。よって、追記者は蛍光色の色材によってのみ追記を行うように決めておけば、入力された画像データに含まれる画素の色のうち、ガミュート情報が表す色再現域に含まれる色は基本色として特定できるし、色再現域に含まれない色は基本色以外、つまり、追記部分の色として特定し得ることになる。このようにすれば、操作者が予め基本色を指定する必要がない。

また、本発明の別の好ましい態様においては、前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データの内容を解析し、その解析結果に基づいて前記基本色を特定する。例えば、前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データに含まれる各画素の代表色の出現頻度を求め、その出現頻度が多いほうの色から順番に決められた数の代表色を前記基本色として特定するようにしてもよい。また、前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データに含まれる各画素の代表色毎の配置分布に基づいて、最も広い面積にわたって配置されている画素の代表色と、その次に広い面積にわたって配置されている画素の代表色とを求め、その少なくとも２つの代表色を前記基本色として特定するようにしてもよい。このようにすれば、操作者が予め基本色を指定する必要がない。

また、前記基本色特定手段は、画像形成装置によって再現可能な色再現域を表すガミュート情報を予め記憶しておき、前記限定色化手段によって代表色に変換された後の画像データに含まれる画素の代表色のうち、前記ガミュート情報が表す色再現域に含まれる代表色を前記基本色と特定するようにしてもよい。

また、本発明は、コンピュータに、入力された画像データに含まれる各画素の色を、複数の代表色のいずれかに変換する限定色化機能と、前記複数の代表色のうち少なくともいずれか２色を、前記画像データにおける基本色として特定する基本色特定機能と、前記限定色化機能によって各画素の色が代表色に変換された画像データを、前記基本色の画素からなる原本画像データと、当該基本色以外の代表色の画素からなる追記画像データとに分離する分離機能と、前記分離機能によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能とを実現させるためのプログラムを提供する。

また、本発明は、コンピュータに、入力された前記画像データを、所定の閾値より低い彩度の色からなる原本画像データと、前記閾値以上の彩度の色からなる追記画像データとに分離する分離機能と、前記分離機能によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能とを実現させるプログラムを提供する。

また、本発明は、コンピュータに、入力された前記画像データに含まれる画素を、これら画素の色の彩度と明度に基づいて、彩度が所定の閾値以上である第１の画素と、彩度が前記閾値未満であって明度が比較的高い第２の画素と、彩度が前記閾値未満であって明度が中程度の第３の画素と、彩度が前記閾値未満であって明度が比較的低い第４の画素とに分類する分類機能と、入力された前記画像データを、前記第２の画素と前記第４の画素からなる原本画像データと、前記第１の画素と前記第３の画素からなる追記画像データとに分離する分離手段と、前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能とを実現させるプログラムを提供する。

まず、本発明の実施形態で用いる主要な用語を定義しておく。
「文書原本」とは、追記が一切なされていない文書を意味しており、「原本画像データ」とは、この文書原本の内容を表した画像データである。
これに対し、「追記文書」とは、文書原本に対して追記がなされた状態の文書を意味している。また、「追記部分」とは文書原本に追記された部分を意味しており、この追記部分は、例えば文字、線分、図形等の各種の「追記オブジェクト」によって構成されている。そして、「追記画像データ」とは、追記部分の内容を表した画像データである。
また、「基本色」とは、文書原本の内容を表すために用いられている色であり、例えば白色の記録紙に黒色の文字が形成されているような場合には、白と黒が基本色である。

（１）第１実施形態
図１は、第１実施形態に係る画像処理装置１の構成を示したブロック図である。画像処理装置１は、例えばパーソナルコンピュータであり、制御部１１と、不揮発性記憶部１２と、入力部１３と、表示部１４と、操作部１５とを備えている。入力部１３には通信ケーブルを介してスキャナ等の画像読取装置２が接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３を備えており、画像読取装置２から入力部１３を介して入力された画像データに対し、各種の画像処理を実行する。不揮発性記憶部１２は例えばハードディスクであり、制御部１１が実行する画像処理の手順が記述された画像処理プログラムＰＲＧを記憶している。操作部１５は、例えばキーボードやマウスを備えており、ユーザによる入力操作を受け付けて、その操作に応じた信号を制御部１１に供給する。表示部１４は例えば液晶ディスプレイ装置であり、制御部１１による制御の下で各種画像を表示する。本実施形態においては、いわゆる限定色化の技術を応用することによって、文書原本の内容と、その文書原本に追記された内容とを分離する。この限定色化とは、多色で形成された画像データの各画素の色を、もとの画像データよりも少ない数の色（以下、代表色という）に変換する処理であり、主として画像データの圧縮を目的として用いられる技術である。

図２は、画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。
追記者は文書原本に追記を行う。具体的には、ごく一般的なテキスト文書のように白色地の記録紙に黒色の画像が形成されたモノクロ文書に対して、追記者は例えば赤、青、緑などの比較的目立つ色のペンでコメント等を記入したり、朱肉と印を用いて印影やスタンプを付したりする。画像処理装置１の操作者は、これらの追記がなされた追記文書を画像読取装置２によって読み取らせる。画像読取装置２は、読み取った画像を表す画像データを画像処理装置１の入力部１３に入力する（ステップＳ１）。

入力部１３に画像データが入力されると、制御部１１は、その画像データに対して限定色化処理をおこなう（ステップＳ２）。具体的には、まず、制御部１１は入力された画像データに含まれている画素の色を全て抽出し、そのうちの幾つかを代表色に指定する。次いで、制御部１１は、画像データに含まれる画素を、これら複数の代表色のいずれかに変換する。この際、制御部１１は、互いに隣接する画素の色どうしの相関関係を見て、適宜、誤り補正などを行うことが望ましい。

次いで、制御部１１は基本色を特定する（ステップＳ３）。ここで、典型的には上記のようなモノクロ文書が本実施形態の画像処理の対象となるので、制御部１１は、基本色として「白」と「黒」とを事前にデフォルトで設定しておき、これらの色を不揮発性記憶部１２に記憶しておけばよい。また、制御部１１は、操作者に対し、基本色を指定するように促す画面を表示部１４に表示させ、これを見た操作者が操作部１５を用いて指定した基本色を不揮発性記憶部１２に記憶するようにしてもよい。なお、基本色は、背景の色と、その背景の上に描かれた画像そのものの色とを含むから、少なくとも２色以上であることが要求される。

次に、制御部１１は、限定色化処理が施された画像データを、基本色の画素からなる原本画像データと、この基本色以外の代表色の画素からなる追記画像データとに分離する（ステップＳ４）。ここで、原本画像データは、基本色によって表される画像データであるから、文書原本の内容を表しているはずである。例えばモノクロ文書に対し赤色のペンで追記した場合、限定色化処理によって、追記文書の画像データの画素は、黒画素と、白画素と、赤画素とに変換されるはずである。前述したように、基本色としては黒と白とが特定されているから、黒画素と白画素とによって構成された原本画像データは文書原本の内容を表しているはずである。一方、基本色以外（黒と白以外）の代表色である赤色の画素によって構成された画像データは、追記画像データを表しているはずである。このようにして、制御部１１は、原本画像データと追記画像データを分離すると、これらをそれぞれ別ファイルで、且つ、互いに対応付けて不揮発性記憶部１２に書き込む（ステップＳ５）。

なお、制御部１１は、基本色を特定する際に、限定色化してから基本色を特定してもよいし、限定色化する前に入力された画像データの内容を解析し、その解析結果に基づいて基本色を特定してもよい。

次に、図３に示すフローを参照しながら、制御部１１が上記のようにして保存した画像データに基づいて画像を表示する際の動作について説明する。
図３において、操作者は操作部１５を用いて、不揮発性記憶部１２に記憶されている画像データの中から、所望の原本画像データのファイル名を指定すると共に、その表示態様を指定する。ここでいう表示態様とは、原本画像のみを表示するとか、追記画像のみを表示するとか、原本画像に追記画像を重ね合わせて表示する、といった表示の態様である。このような操作者の操作に応じて、制御部１１はどのような画像を表示すべきかを判断する（ステップＳ１１）。

この判断の結果、制御部１１は、原本画像のみを表示すべきだと判断した場合は、操作者によって指定された原本画像データを不揮発性記憶部１２から読み出し、これに基づいて原本画像を表示部１４に表示する（ステップＳ１２）。一例を挙げると、図４の追記文書Ｔには、文書原本の一部を青色の○印で囲み、その○印を青色の矢印で指して「入れ替え」と青色で記入した追記オブジェクトａ１と、赤色で「修正」と記入して記入者の名前「富士」という赤色の印影を付した追記オブジェクトａ２といった追記がなされている場合を示している。このような場合、図４に示す原本画像Ｔoが表示部１４に表示されることになる。

また、制御部１１は、図３のステップＳ１１において、追記画像のみを表示すべきだと判断した場合は、操作者によって指定された原本画像データに対応する追記画像データを不揮発性記憶部１２から読み出し、これに基づいて原本画像を表示部１４に表示する（ステップＳ１３）。例えば追記文書が図４に示した追記文書Ｔのような場合には、追記オブジェクトａ１と追記オブジェクトａ２とが仮想的な記録紙上に配置された追記画像Ｔaが表示部１４に表示される。なお、この場合、追記オブジェクトａ１，ａ２の背景（記録紙の下地）は本来無色であるが、原本画像と同じ背景色（例えば白）の背景上に追記オブジェクトを重ね合わせて表示するようにしてもよい。

そして、制御部１１は、ステップＳ１１において原本画像に追記画像を重ね合わせて表示すべきだと判断した場合は、操作者によって指定された原本画像データと、その原本画像データに対応付けられている追記画像データとを不揮発性記憶部１２から読み出し、これらに基づいて、原本画像と追記画像とを重ね合わせて表示部１４に表示する（ステップＳ１４）。つまり、図４に示した追記文書Ｔの内容と同様の画像が表示部１４に表示されることになる。

この第１実施形態によれば、制御部１１が、画像処理装置１に入力された画像データに含まれる各画素の色を代表色に変換し、これらの代表色のうち少なくともいずれか２色を基本色として特定する。そして、制御部１１は、代表色に変換された画像データを、基本色の画素からなる原本画像データと、その基本色以外の代表色の画素からなる追記画像データとに分離し、これらをそれぞれ対応付けて不揮発性記憶部１２に記憶する。制御部１１は、このような方法で画像データを分離して記憶することによって、原本画像データによって表される原本画像、追記画像データによって表される追記画像、または原本画像と追記画像とが重ね合わせられた画像のうち、操作者に指定された画像を表示部１４に表示させることが可能となる。もちろん、これらの画像データは、表示だけではなく、検索などの各種処理に利用することができる。

また、限定色化を行ってから、原本画像データと追記画像データとに分離するので、文書原本における微妙な色の違いによって追記部分を誤識別してしまう、というような事態を未然に防止することが可能となる。

（２）第２実施形態
次に、本発明の第２実施形態について説明する。
この第２実施形態では、上述したような追記オブジェクトを決められた条件に従ってグルーピングし、そのグループ別に前記追記画像データを分離し、これらを原本画像データに対応付けて不揮発性記憶部１２に記憶しておく。そして、それぞれのグループ単位で追記オブジェクトを表示部１４に表示したり表示しなかったりする。この第２実施形態に係る画像処理装置１の構成は、画像処理プログラムＰＲＧに記述された手順の一部を除いて同じであるから、詳細な説明は省略する。

図５は、第２実施形態に係る画像処理プログラムＰＲＧに記述された手順を示すフローチャートである。図５において図２の内容と異なる点は、ステップＳ４とステップＳ５の間に、追記オブジェクトをグルーピングする処理（ステップＳ６）が挿入されているところである。

ここで、追記オブジェクトをグルーピングする方法には、次のようなものがある。例えば、追記画像にそれぞれ異なる代表色の追記オブジェクトが含まれているような場合には、それぞれの代表色別に追記オブジェクトをグルーピングしておき、その代表色別に追記オブジェクトを表示する。具体的には、制御部１１は、追記画像データに複数の代表色の画素が含まれる場合には、それぞれの代表色別に追記オブジェクトをグルーピングする。そして、制御部１１は、そのグループ別に追記画像データを分離し（ステップＳ６）、これらを原本画像データに対応付けて不揮発性記憶部１２に記憶する（ステップＳ５）。

このようにして追記画像データを記憶しておけば、制御部１１は、図６に示すように、青色の追記オブジェクトａ１のみ含む画像Ｔa1と、赤色の追記オブジェクトａ２のみを含む画像Ｔa2とをそれぞれ別画面として表示部１４に表示することができる。また、図７に示すように、制御部１１は、文書原本に青色の追記オブジェクトａ１のみを重ね合わせた画像Ｔb1と、文書原本に赤色の追記オブジェクトａ２のみを重ね合わせた画像Ｔb2とをそれぞれ別画面として表示部１４に表示するようにしてもよい。

このように追記部分を色別にグルーピングすることにより、次のような利点がある。
例えば、文書原本に対する修正事項は赤色で、コメントは青色で、承認に関する追記は緑色で、というように追記の種類に応じて、その追記に用いる色を予めルールとして決めておく。このようなルールに基づいて追記された追記文書について、色別に分離した追記画像データを記憶しておくことで、例えば、修正事項に関する追記部分のみを表示したり、或いは、その修正事項の内容のみを対象とした検索処理を行うことが可能となる。

また、修正事項は赤で追記すると決めておいたとしても、それぞれの追記者が用いるペン等の色材の色は微妙に異なっているのが普通である。このように色材の色が微妙に異なっていたとしても、上述した方法によれば、最初に限定色化してから追記画像データを色別に分離するので、ほぼ同じ色の追記部分を１つのグループにまとめることができる。もし限定色化しないまま追記部分を色別にグルーピングすると、それぞれの追記部分は互いに少ししか色が違わないのにも関わらず、それぞれ別々のグループにグルーピングされてしまう。これでは追記画像データのファイルがいたずらに増えるだけで、使い勝手が悪い。

次に、上記とは別のグルーピングの方法について説明する。
追記画像に複数の追記オブジェクトが含まれる場合には、互いに近傍に配置された追記オブジェクト同士を１つのグループにして、そのグループ単位で追記オブジェクトを表示する。具体的には、まず、制御部１１は、各々の追記オブジェクトが配置されている位置を特定する。次いで、制御部１１は、これらの追記オブジェクトのうち、予め決められた閾値よりも近い距離に位置する追記オブジェクトどうしをグルーピングし、そのグループ別に追記画像データを分離する（ステップＳ６）。そして、これらを原本画像データに対応付けて不揮発性記憶部１２に記憶する（ステップＳ５）。

例えば図８に示した追記文書Ｔに追記されている追記オブジェクトのうち、「富士」という印影の追記オブジェクトａ2-1と、「修正」という手書きの追記オブジェクトａ2-2とが上記閾値よりも離れていると仮定した場合、制御部１１は、追記オブジェクトａ１のみ含む画像Ｔa1のほか、追記オブジェクトａ2-2のみを含む画像Ｔb2-2と、追記オブジェクトａ2-1のみを含む画像Ｔb2-1とをそれぞれ別画面として表示部１４に表示することが可能となる。もちろん、制御部１１は、図７と同様に、これらの画像Ｔa1、画像Ｔb2-2、画像Ｔb2-2をそれぞれ文書原本の画像とを重ね合わせて表示するようにしてもよい。

この第２実施形態によれば、例えば追記オブジェクトを色毎に表示したり、互いに近傍に配置された追記オブジェクトどうしをまとめて表示するなど、グループ単位で追記オブジェクトを表示することが可能となる。

（３）第３実施形態
第１実施形態及び第２実施形態では、基本色は事前に設定されているか、或いは操作者自身によって指定されるようになっていた。以下に述べる第３実施形態では、制御部１１が、入力された画像データの内容を解析し、その解析結果に基づいて基本色を特定する。具体的には次のような方法で基本色を特定する。

制御部１１は、入力された画像データに含まれる各画素の色の出現頻度（ヒストグラム）を求め、その出現頻度が多いほうの色から順番に決められた数の色を基本色として特定する。例えば図４に示す追記文書Ｔのような場合、制御部１１が色毎の出現頻度を求めると、記録紙の下地色である白の出現頻度が一番高く、次いで、活字文字を表す黒の出現頻度が高く、その次に青とか赤の出現頻度が続くことになる。出現頻度が多いほうの色から２色を基本色とするというように事前に決めておけば、基本色は白と黒になる。制御部１１は、図２のステップＳ２で上記のようにして基本色を特定すると、この基本色に基づいて、ステップＳ３以降の処理を実行すればよい。

また、制御部１１は、入力された画像データに含まれる各画素の色毎の配置分布に基づいて、最も広い面積にわたって配置されている画素の色と、その次に広い面積にわたって配置されている画素の色とを求め、その少なくとも２色を基本色として特定するようにしてもよい。例えば図９に示す追記文書Ｔのような場合、制御部１１が各画素の色毎の配置分布を求めると、記録紙の色である白の画素の配置分布が一番広く、次いで、活字文字を表す黒の画素の配置分布Ｓ１が広く、その次に青画素の配置分布Ｓ２や赤画素の配置分布Ｓ３が続くことになる。画素が配置された面積の広いほうの色から２色を基本色とすることを事前に決めておけば、基本色は白と黒になる。制御部１１は、図２のステップＳ２で上記のようにして基本色を特定すると、この基本色に基づいて、ステップＳ３以降の処理を実行すればよい。

また、制御部１１は、一般的なプリンタ等の画像形成装置によって再現可能な色再現域を表すガミュート情報を不揮発性記憶部１２に予め記憶しておき、入力された画像データに含まれる画素の色のうち、そのガミュート情報が表す色再現域に含まれる色を基本色として特定するようにしてもよい。一般的な画像形成装置はいわゆる蛍光色を再現できないから、追記者は蛍光色の色材によってのみ追記を行うように決めておく。このようにすれば、入力された画像データに含まれる画素の色のうち、ガミュート情報が表す色再現域に含まれる色は基本色として特定できるというわけである。もちろん、色再現域に含まれない色（蛍光色）は基本色以外であるから、追記部分を表した色となる。
このように第３実施形態によれば、操作者が予め基本色を指定する必要がないし、画像データの内容に応じて適切な基本色を特定することが可能となる。
（４）第４実施形態
上述した第１〜第３実施形態は、いずれも限定色化を行うことによって原本画像と追記画像とを分離するものであった。次に説明する第４実施形態では、限定色化を行わずに、画素の色の彩度に基づいて、原本画像と追記画像とを分離しようとするものである。
既に説明したような、原本画像は白及び黒の画素によって表現されることが多いのに対し、追記画像は比較的目立ちやすい色（例えば黄色や赤色など）の画素によって表現されることが多い。つまり、黒色や白色のような文書原本に用いられる色は比較的彩度が低い色であるのに対し、例えば黄色や赤色のような追記に用いられる色は比較的彩度が高い色であると言える。そこで、制御部１１は、彩度の低い色と高い色との区別するための閾値を予め不揮発性記憶部１２に記憶させておき、入力部１３に入力された画像データを、閾値より低い彩度の色からなる原本画像データと、閾値以上の彩度の色からなる追記画像データとに分離する。そして、制御部１１は、この分離によって得られた原本画像データと追記画像データとをそれぞれ対応付けて不揮発性記憶部１２に記憶させる。
このように第４実施形態によれば、限定色化処理を経なくても、原本画像と追記画像との各々に用いられる色の特徴（彩度）に基づいて、原本画像と追記画像とを分離して記憶することが可能となる。

（５）第５実施形態
次に述べる第５実施形態では、第４実施形態で利用した色の彩度に加えて、色の明度をも利用することで、より正確に原本画像と追記画像とを分離するものである。色の彩度と明度とを考慮して、文書原本に用いられることが多い色と、追記に用いられることが多い色とを分類すると次のような傾向がある。

（i）高彩度の色
例えば鮮やかな黄色や鮮やかな赤色などであり、追記に用いられることが多い。
（ii）低彩度ないし無彩色で、明度が高い色
典型的には白であり、文書原本の下地（記録紙）の色であることが多い。白の他にも、例えば薄い黄色やピンクなども色付きの記録紙に用いられることがある。
（iii）低彩度ないし無彩色で、明度が中程度の色
例えばグレーなどである。追記者が鉛筆等で追記した場合には、その追記画像の色はグレーとなる。
（iv）低彩度ないし無彩色で、明度が低い色
典型的には黒ないし濃いグレーであり、文書原本の前景画像の色であることが多い。

これらの分類結果から、原本画像を表現する色は（ii）や（iv）のような色である。こ
れに対し、追記画像を表現する色は（i）や（iii）のような色である。制御部１１は、彩
度の高低を区別するための閾値や、明度のレベルを判定するための閾値を予め不揮発性記憶部１２に記憶させておき、入力部１３に入力された画像データに含まれる画素を、それらの閾値に基づいて分類する。具体的には、彩度が所定の閾値以上である第１の画素と、彩度が前記閾値未満であって明度が比較的高い第２の画素と、彩度が前記閾値未満であって明度が中程度の第３の画素と、彩度が前記閾値未満であって明度が比較的低い第４の画素とに分類する。次に、制御部１１は、入力部１３に入力された画像データを、第２の画素と第４の画素からなる原本画像データと、第１の画素と第３の画素からなる追記画像データとに分離する。そして、制御部１１は、この分離処理によって得られた原本画像データと追記画像データとをそれぞれ対応付けて不揮発性記憶部１２に記憶させる。
このように第５実施形態によれば、限定色化処理を経なくても、原本画像と追記画像との各々に用いられる色の特徴（彩度と明度）に基づいて、原本画像と追記画像とを分離して記憶することが可能となる。

（６）変形例
上述した実施形態は次のような変形が可能である。
第１実施形態〜第５実施形態において、画像処理装置１は実施形態のようにパーソナルコンピュータによって実現してもよいし、この画像処理装置１と画像読取装置２の機能を備えた複合機によって実現してもよい。また、画像処理装置１の機能の一部を画像読取装置２によって実現してもよい。例えば、限定色化処理を前処理として画像読取装置２で行ってから、その処理結果を画像処理装置１に入力し、以降の処理を画像処理装置１が行うようにしてもよい。なお、第１実施形態〜第５実施形態の内容は互いに組み合わせて実施してもよい。

第１実施形態において、画像処理装置１の制御部１１は、限定色化処理が施された画像データを、原本画像データと追記画像データとに分離したのち、これらを画像処理装置１に内蔵された不揮発性記憶部１２に記憶するのではなく、フロッピー（登録商標）ディスクやその他の記録媒体に記憶するようにしてもよい。このようにして原本画像データと追記画像データとが対応付けられて記憶された記録媒体を任意のコンピュータに挿入ないし接続すれば、そのコンピュータは記録媒体からこれらの画像データを読み出して、図３に示したような種々の態様で画像を表示することができる。

第１実施形態において、限定色化の方法は、実施形態で説明したもの以外にも、例えば、事前に決められた幾つかの代表色を記憶したカラーテーブルを用いて行うものであってもよいし、所定の変換式を用いて限定色化を行うものであってもよい。また、文書原本がモノクロではなくカラーの場合もあるので、基本色の数は２色よりも多くても構わない。ただし、追記者は文書原本に使われていない色（つまり基本色以外の色）で追記を行うように留意すべきである。

なお、画像処理プログラムＰＲＧは、磁気ディスク、フロッピー（登録商標）ディスク、ＣＤ（Compact Disk），ＤＶＤ（Digital Versatile Disk），ＲＡＭ等の種々の記録媒体に記録した状態で提供することが可能である。

本発明の第１実施形態に係る画像処理装置の構成を示したブロック図である。 同実施形態に係る画像処理装置が実行する手順を示すフローチャートである。 同実施形態に係る画像処理装置が実行する手順を示すフローチャートである。 同実施形態において画像処理装置によって表示される画面を例示した図である。 第２実施形態の画像処理装置が実行する手順を示したフローチャートである。 同実施形態において画像処理装置によって表示される画面を例示した図である。 同実施形態において画像処理装置によって表示される画面を例示した図である。 同実施形態において画像処理装置によって表示される画面を例示した図である。 第３実施形態において基本色を特定する仕組みを説明する図である。

符号の説明

１…画像処理装置、２…画像読取装置、３…画像形成装置、１１…制御部、１１１…ＣＰＵ，１１２…ＲＯＭ，１１３…ＲＡＭ，１２…不揮発性記憶部，１３…入力部，１４…表示部、１５・・・操作部、ＰＲＧ・・・画像処理プログラム。

Claims (19)

1. 画像データが入力される入力手段と、
   入力された前記画像データに含まれる各画素の色を、複数の代表色のいずれかに変換する限定色化手段と、
   前記複数の代表色のうち少なくともいずれか２色を、前記画像データにおける基本色として特定する基本色特定手段と、
   前記限定色化手段によって各画素の色が代表色に変換された画像データを、前記基本色の画素からなる原本画像データと、当該基本色以外の代表色の画素からなる追記画像データとに分離する分離手段と、
   前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段と
   を備えた画像処理装置。
2. 画像データが入力される入力手段と、
   入力された前記画像データを、所定の閾値より低い彩度の色からなる原本画像データと、前記閾値以上の彩度の色からなる追記画像データとに分離する分離手段と、
   前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段と
   を備えた画像処理装置。
3. 画像データが入力される入力手段と、
   入力された前記画像データに含まれる画素を、これら画素の色の彩度と明度に基づいて、彩度が所定の閾値以上である第１の画素と、彩度が前記閾値未満であって明度が比較的高い第２の画素と、彩度が前記閾値未満であって明度が中程度の第３の画素と、彩度が前記閾値未満であって明度が比較的低い第４の画素とに分類する分類手段と、
   入力された前記画像データを、前記第２の画素と前記第４の画素からなる原本画像データと、前記第１の画素と前記第３の画素からなる追記画像データとに分離する分離手段と、
   前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御手段と
   を備えた画像処理装置。
4. 前記記憶手段によって記憶されている原本画像データまたは追記画像データに基づいて、前記原本画像データによって表される原本画像、前記追記画像データによって表される追記画像、または前記原本画像と前記追記画像とが重ね合わせられた画像のうち、指定された画像を表示手段に表示させる表示制御手段を備えた請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記分離手段は、前記追記画像に含まれる追記オブジェクトを決められた条件に従ってグルーピングして、そのグループ別に前記追記画像データを分離し、
   前記記憶制御手段は、グループ別に分離された前記追記画像データを前記原本画像データに対応付けて記憶し、
   前記表示制御手段は、前記追記画像、または前記原本画像と前記追記画像とが重ね合わせられた画像を表示する際には、それぞれの前記グループ単位で前記追記オブジェクトを表示させる請求項４記載の画像処理装置。
6. 前記分離手段は、前記追記画像データに複数色の画素が含まれる場合には、それぞれの色別に前記追記オブジェクトをグルーピングして、そのグループ別に前記追記画像データを分離し、
   前記表示制御手段は、前記追記画像、または前記原本画像と前記追記画像とが重ね合わせられた画像を表示する際には、色別に前記追記オブジェクトを表示させる請求項４記載の画像処理装置。
7. 前記分離手段は、前記追記画像に複数の追記オブジェクトが含まれる場合には、決められた閾値よりも近い距離に位置する追記オブジェクトどうしをグルーピングして、そのグループ別に前記追記画像データを分離する請求項４記載の画像処理装置。
8. 操作者が入力操作を行うための操作手段を備え、
   前記基本色特定手段は、操作者が前記操作手段を用いて指定した色を前記基本色として特定する請求項１記載の画像処理装置。
9. 前記基本色特定手段は、入力された前記画像データの内容を解析し、その解析結果に基づいて前記基本色を特定する請求項１記載の画像処理装置。
10. 前記基本色特定手段は、入力された前記画像データに含まれる各画素の色の出現頻度を求め、その出現頻度が多いほうの色から順番に決められた数の色を前記基本色として特定する請求項９記載の画像処理装置。
11. 前記基本色特定手段は、入力された画像データに含まれる各画素の色毎の配置分布に基づいて、最も広い面積にわたって配置されている画素の色と、その次に広い面積にわたって配置されている画素の色とを求め、その少なくとも２色を前記基本色として特定する請求項９記載の画像処理装置。
12. 前記基本色特定手段は、画像形成装置によって再現可能な色再現域を表すガミュート情報を予め記憶しておき、入力された前記画像データに含まれる画素の色のうち、前記ガミュート情報が表す色再現域に含まれる色を前記基本色と特定する請求項９記載の画像処理装置。
13. 前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データの内容を解析し、その解析結果に基づいて前記基本色を特定する請求項１記載の画像処理装置。
14. 前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データに含まれる各画素の代表色の出現頻度を求め、その出現頻度が多いほうの色から順番に決められた数の代表色を前記基本色として特定する請求項１３記載の画像処理装置。
15. 前記基本色特定手段は、前記限定色化手段によって代表色に変換された後の画像データに含まれる各画素の代表色毎の配置分布に基づいて、最も広い面積にわたって配置されている画素の代表色と、その次に広い面積にわたって配置されている画素の代表色とを求め、その少なくとも２つの代表色を前記基本色として特定する請求項１３記載の画像処理装置。
16. 前記基本色特定手段は、画像形成装置によって再現可能な色再現域を表すガミュート情報を予め記憶しておき、前記限定色化手段によって代表色に変換された後の画像データに含まれる画素の代表色のうち、前記ガミュート情報が表す色再現域に含まれる代表色を前記基本色と特定する請求項１３記載の画像処理装置。
17. コンピュータに、
    入力された画像データに含まれる各画素の色を、複数の代表色のいずれかに変換する限定色化機能と、
    前記複数の代表色のうち少なくともいずれか２色を、前記画像データにおける基本色として特定する基本色特定機能と、
    前記限定色化機能によって各画素の色が代表色に変換された画像データを、前記基本色の画素からなる原本画像データと、当該基本色以外の代表色の画素からなる追記画像データとに分離する分離機能と、
    前記分離機能によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能と
    を実現させるためのプログラム。
18. コンピュータに、
    入力された前記画像データを、所定の閾値より低い彩度の色からなる原本画像データと、前記閾値以上の彩度の色からなる追記画像データとに分離する分離機能と、
    前記分離機能によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能と
    を実現させるプログラム。
19. コンピュータに、
    入力された前記画像データに含まれる画素を、これら画素の色の彩度と明度に基づいて、彩度が所定の閾値以上である第１の画素と、彩度が前記閾値未満であって明度が比較的高い第２の画素と、彩度が前記閾値未満であって明度が中程度の第３の画素と、彩度が前記閾値未満であって明度が比較的低い第４の画素とに分類する分類機能と、
    入力された前記画像データを、前記第２の画素と前記第４の画素からなる原本画像データと、前記第１の画素と前記第３の画素からなる追記画像データとに分離する分離手段と、
    前記分離手段によって分離された原本画像データと追記画像データとをそれぞれ対応付けて記憶手段に書き込む記憶制御機能と
    を実現させるプログラム。

Images