JP2007129444A

JP2007129444A - 属性情報の学習機能を持つ画像処理装置

Info

Publication number: JP2007129444A
Application number: JP2005319775A
Authority: JP
Inventors: Kiminori Matsuzaki; 公紀松▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-11-02
Filing date: 2005-11-02
Publication date: 2007-05-24

Abstract

【課題】一度設定した文字・写真判定に関する情報を保存することで、コピーの度に設定を繰り返す手間を防ぐ。
【解決手段】画像データに対して領域を決定する手段と、領域の属性を決定する手段と、領域の特徴量を算出する手段と、属性と特徴量を保存する手段を持つ登録処理部と、読み込んだ画像データに対して保存された特徴量を用いて類似度を算出する手段と、類似度が高い領域については保存された特徴量に対応した属性に上書きする手段をもつ認識処理部で構成される。
【選択図】図４

Description

本発明は、スキャナを用いて像域分離処理を実行する画像形成装置及び画像形成方法ならびに画像形成方法を実行するプログラムに関するものである。

従来、特にカラーコピーの分野において画質向上を図るため、像域分離処理が行われている。スキャナで読み込んだ画像を解析して写真部か文字部かの判定を行い、写真部には写真用の画像処理、文字部には文字用の画像処理を行うことで画像全体としての最適化を図る処理である。

しかし、写真部か文字部かの判定処理結果がユーザの意図と合わない可能性があり、その場合は例えば写真部に文字用の画像処理をかけてしまうなど、適切ではない画像処理が行われるため画質の劣化が生じてしまう。

そこで従来では、図1に示すようなUIを用いてユーザの好みに合わせて写真・文字の優先度を変更させる機能がある。これにより、ユーザが文字中心の原稿をコピーする際は文字の優先度を上げ、写真中心の原稿をコピーする際は写真の優先度をあげることでユーザの意図に合った画像を出力することができる。

また、ユーザインターフェースから入力画像に対してユーザに矩形などで領域を指定させ、指定された領域に対して属性の設定をさせ、その結果に応じた画像処理を行うことで最適なコピー画像を得る技術も提案されている。（例えば特許文献1参照）
特開2001-086324号公報

しかしながら、上述した従来の技術では、ユーザのニーズに合わせた画像を出力することが可能だが、後日ユーザが同じ原稿や類似した原稿をコピーしたい場合にはもう一度同じ優先度設定を行う必要があり、ユーザの負担が大きいという問題があった。

上述した課題を解決するために、本発明は、入力装置で読み込まれた画像データに対して、領域を決定する手段と、前記領域に対して属性を決定する手段と、前記領域の特徴量を算出する手段と、前記特徴量と前記属性情報を保存する手段と、次回読み込んだ画像データに対して保存された特徴量を用いて類似度を算出する手段と、類似度が高い領域に対しては保存された特徴量に対応した属性情報にその領域の特徴量を強制的に書き換える手段と、を有することを特徴とする。

一度文字・写真の判定情報を設定すれば次回からその結果が反映されるためコピーのたびに設定を繰り返す必要がなくなりユーザの手間を軽減することが可能となる。

（実施例１）
本発明の実施の形態について説明する。図2は本発明で用いるカラーMFPの構成図である。図2においてオートドキュメントフィーダーを含む画像読み取り部201は束状のあるいは一枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固定撮像素子上に結像し、固定撮像素子からラスター状の画像読み取り信号をイメージ情報として得る。通常の複写機能はこの画像信号をデータ処理装置205で記録信号へ画像処理し、記録装置203に順次出力して紙上に画像を形成する。

カラーMFPへの操作者の指示はカラーMFPに装備されたキー操作部である入力装置206から行われ、これら一連の動作はデータ処理装置205内の図示しない制御部で制御される。

一方、操作入力の状態表示及び処理中の画像データの表示は表示装置204で行われる。また、記憶装置202は、画像読み取り部201で取り込んだ画像データ等を保存することが可能な領域である。

ネットワークIF207はネットワークと接続するためのインターフェースである。これを用いることで、ネットワークにつながった外部のPCから画像データを受け取り、データ処理装置205で処理を行って記録装置203にてプリントを行うことが可能となる。また、画像読み取り部201で読み取り、データ処理装置205で処理を行ったデータをネットワークI/F207を介して送信し、外部のPCなどに送ることも可能である。

図3はカラーMFPを用いた通常のコピー操作における処理の流れを示したものである。まず、原稿301をスキャナ部で読み込む（ステップ302）。次に読み込んだ画像に対してステップ303でマスキングなどの入力画像補正処理を行う。一方で同様の画像に対してステップ304にて判定処理を行う。この処理は画像データから特徴量を取得し、取得した特徴量を用いて画素ごとに写真か文字かの判定を行い、画素ごとに写真または文字の属性データを決定するものである。特徴量の抽出手段や判定方法についてはすでに広く世の中に知られており、どのような手段を用いても問題はない。

次に入力画像補正結果と判定結果を画像メモリ305に格納する。そしてステップ306にて画像メモリ内の情報を取り出して色変換処理を行う。スキャナで読み込まれたデータはRGBデータだが、エンジンで出力するためにはCMYKに変換する必要がある。その変換を行うためにステップ306の色変換処理が行われるが、この際に判定処理結果を用いて写真部には写真用の色変換処理、文字部には文字用の色変換処理を適用する。次にステップ307にてガンマ補正処理、ステップ308にて画像形成処理を行い、ステップ309にてエンジン出力を行ってコピー画像310を得る。もちろん、ガンマ補正処理や画像形成処理に対して判定処理結果を用いて切り替えを行うことも可能である。

次に、本実施例における処理の流れについて説明する。本実施例は登録処理と認識処理の二つに分かれており、登録処理ではコピーを行った際の原稿のある領域の特徴量と、写真・文字等の割り当てられた属性の登録を行う。認識処理では登録した情報と、コピーの際に読み込んだ原稿の情報とでマッチングを行い、一致した場合は登録された情報を元に属性情報を書き直す処理を行う。登録処理と認識処理の切り替えは表示装置204上のUIで行い、登録処理が選択されている時は登録処理を含むコピー処理が、認識処理が選択されている時は認識処理を含むコピー処理が行われる。

図4は登録処理の流れを示したものである。原稿401をステップ402にてスキャナで読み込み、そのデータに対してステップ403にて入力画像補正処理を行う。一方、ステップ404にて読み込んだデータに対して判定処理を行う。そしてそのデータをもとにステップ405にて領域自動抽出処理を行う。領域自動抽出処理の詳細を図6に示す。まず、ステップ601にて下地除去を行う。次にステップ602にて2値化処理、ステップ603にてラベリング処理を行う。そしてステップ604にて各ラベルの面積を計算し、一定以上の大きさを持つ領域を抽出する。以上の処理を行って領域が抽出された場合は（ステップ406）、ステップ407にて原稿及び抽出された領域の情報を表示装置204に表示する。そしてステップ408にてユーザに領域・属性情報の入力をさせ、その情報を用いて判定処理により決定された属性情報を上書きする。例を図7〜9に示す。

図7は判定処理が終了した原稿データの例である。文字部701、文字部702は色のついた領域中にある文字部、文字部703は白い下地の上にある文字部である。写真704、写真部705は写真部を表している。このデータに対して領域抽出処理を行うと、文字部701、写真部704はそれぞれ違うラベル付けがなされてラベル付けされる。文字部702と写真部705はつながっている領域のため、1つの領域としてラベル付けされる。また、文字部703はラベルの面積が小さいため、領域としては抽出されない。

図8は領域抽出後のUIを示したものである。抽出された領域に対して文字部と写真部を区別して表示している。文字部802と写真部805は1つの領域として抽出され、文字と判定されている。また、文字部801は文字領域として、写真部804は写真領域として抽出されている。文字部803は領域として抽出されていないため、マークがつけられていない。この画面に対してユーザがタッチペンなどを用いて領域の再指定、文字・写真の属性の再指定を行うことが可能となる。

ユーザが領域の再指定を行った例を図9に示す。ユーザが文字部902と写真部905を別々に指定したため、文字部902は文字領域として、写真部905は写真領域として表示されている。指定を行わなかった文字部901、文字部903、写真部904については変更されていない。

このように領域・属性情報の入力・上書きが行われた結果は、入力画像補正処理の結果と共に画像メモリ409に格納される。その後、抽出された領域を取り出し、ステップ410にて特徴量を抽出する。そしてステップ411にて抽出した特徴量とその領域の属性情報を、属性・画像特徴量DB412に保存する。その一方、通常の処理と同様に、ステップ413にて色変換処理を行い、ステップ414にてγ補正処理を行い、ステップ415にて画像形成処理、ステップ416にてエンジン出力を行って、コピー画像417が得られる。この処理で得られる属性・画像特徴量DBを使って、次回コピー時に認識処理を行う。

図5は認識処理の流れを示したものである。原稿501に対して行うステップ502〜505の処理は図4の原稿401に対して行うステップ402〜405と同様なのでここでは省略する。ステップ506では登録処理で作成された属性・画像特徴量DB507から属性・特徴量の読み込みを行う。そしてステップ505で抽出された領域と、属性・画像特徴量DB507の情報を用いてステップ508にてマッチング処理を行う。マッチング処理ではどのようなものであっても問題はない。そしてマッチングによって類似度が高い領域が見つかった場合、その領域の属性情報をDB内にある属性情報に書き換える処理をステップ509にて行う。類似度が高い領域が見つからない場合は書き換え処理を省略する。次に、ステップ503、509の処理結果を画像メモリ510に格納する。そしてステップ511〜514は、図3のステップ306〜309と同様であり、コピー画像515が得られる。前回の登録処理と全く同じ原稿や、類似した領域のある原稿に対しては、前回ユーザが設定した属性情報が反映された画像処理が行われるので再設定を行う必要がない。

このように、一度コピーを行う際にユーザが設定した情報を登録し、次回コピー時にはその情報を使って前回の設定を反映させることで、従来の手法に比べて効率的なコピーを行うことが可能となる。

（実施例２）
登録処理を一回目のコピー終了後に行うようにした場合の別実施例について説明する。本実施例では、先の実施例とは違い、ユーザが図1のようなUIを使って文字・写真の優先度を変更することを前提としている。それらを変更させてコピーした結果、ユーザの意図に合って出力された領域をユーザに登録させ、次回コピー時はその情報を反映させることで再設定を行う事無くユーザに最適なコピーを提供することが可能となる。

図10は登録処理の流れを示した図である。原稿1001を読み取ってステップ1002〜1003の処理を行うまでは、図4の原稿401を読み取って行うステップ402〜403の処理と同様である。ステップ1004の判定処理では、図1のようなUIを用いてユーザが写真・文字の優先度を選択した内容をユーザ設定情報DB1005から読み取ってそれを反映させた判定処理を行う。そしてステップ1006で図4の405と同様に領域自動抽出処理を行う。

次に、実施例1とは異なり抽出した領域の結果をUI上に表示せずに直接画像メモリ1007に格納する。そしてステップ1008〜ステップ1011では図3の306〜309と同様の処理を行い、コピー画像1012を得る。

コピー終了後にステップ1013にて判定処理を行い、ステップ1006で領域が抽出されていない場合はそのまま処理を終了する。領域が抽出された場合はステップ1014で抽出された領域情報の表示を行う。そしてステップ1015にてユーザにどの領域を登録するか選択させる。例を図11、12を用いて示す。図11はコピー対象となる原稿の例である。1101、1102は色のついた領域上の文字部、1103は下地中の文字部である。1104、1105は写真部である。この例では、図9とは違い文字部と写真部は分離している。この場合、ステップ1006の領域抽出処理にて文字部1103は除去され、文字部1101、文字部1102、写真部1104、写真部1105が抽出される。そして図12に示すように、まずステップ1014では抽出された領域を表示する。次にステップ1015では各抽出された領域に対して、ユーザが登録するか否かの選択をUIで行う。図12の例では、文字部1201は登録する、文字部1202は登録しない、写真部1203は登録する、写真部1204は登録しない、とユーザが選択している。領域分離処理によって文字部と写真部が分離できなかった場合は、図12のUIで領域を分離するための機能をUIに付加し、別々に登録するか否かを選択させても問題はない。

登録された領域に対して、ステップ1016で特徴量を抽出し、ステップ1017で特徴量及び属性情報の保存を行って、属性・画像特徴量DB1018に登録する。次回コピー時は実施例1と同様に登録された情報を用いて図5に示すような認識処理を行う。以上の処理により、一度設定した調整を再度繰り返す必要が無くなり、処理の効率化を図ることができる。

文字・写真優先度調整用のUIの例を示した図であるカラーMFPの構成例を示した図である通常のコピー処理の流れを示した図である本発明の実施例１における登録処理の流れを示した図である本発明の実施例１における認識処理の流れを示した図である本発明の実施例１における領域抽出処理の例を示した図である本発明の実施例１において判定処理が終了した後の原稿データの例を示した図である本発明の実施例１において領域抽出処理を行った後の原稿データの例を示した図である本発明の実施例１において領域抽出処理を行った後、ユーザに領域を変更させた結果の例を示した図である本発明の実施例２における登録処理の流れを示した図である本発明の実施例２における原稿データの例を示した図である本発明の実施例２における領域登録のUIの例を示した図である

Claims

入力装置で読み込まれた画像データに対して、領域を決定する手段と、前記領域に対して属性を決定する手段と、前記領域の特徴量を算出する手段と、前記特徴量と前記属性情報を保存する手段と、次回読み込んだ画像データに対して保存された特徴量を用いて類似度を算出する手段と、類似度が高い領域に対しては保存された特徴量に対応した属性情報にその領域の特徴量を強制的に書き換える手段と、を有することを特徴とする画像処理装置。
前記領域を決定する手段は、ユーザに自由に設定させることを特徴とする第１項記載の画像処理装置。
前記領域を決定する手段は、候補となる領域を決定した後、ユーザに選択させることを特徴とする第１項記載の画像処理装置。
前記属性決定手段は、領域内の画素に対して付加することを特徴とする第１項記載の画像処理装置。
前記属性決定手段は、領域に対して付加することを特徴とする第１項記載の画像処理装置。