JP2007028181A

JP2007028181A - 画像処理装置

Info

Publication number: JP2007028181A
Application number: JP2005207169A
Authority: JP
Inventors: Shinichi Kato; 進一加藤; Kenichi Ota; 健一太田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-07-15
Filing date: 2005-07-15
Publication date: 2007-02-01

Abstract

【課題】赤文字や青文字などで、重要なキーワードを表しているカラー原稿を、モノクロ複写機でコピーしてしまうと、カラー情報が欠落してしまうので、重要なキーワードであるかどうか分からなくなってしまう欠点を補う。
【解決手段】カラー原稿中の色文字の部分を認識し、その認識結果に応じて色文字の形状を斜体や太文字に変更したり、フォント種やサイズ変更を行うことで、モノクロ複写においても、色文字部分と判定できる機能を持たせる。
【選択図】図１

Description

本発明は、画像入力装置によって入力された画像データに対して、各種属性認識処理およびベクトル化処理を施す画像処理システムに関する技術分野に属する発明であり、例えば、赤文字や青文字などで、重要なキーワードを表しているカラー原稿を、モノカラー複写機でコピーしてしまうと、カラー情報が欠落してモノカラーでプリントされるので、赤文字や青文字などで表現された重要なキーワードであるかどうか分からなくなってしまう。そこで本発明は、カラー原稿中の色文字の部分を認識し、その認識結果に応じて色文字の形状を斜体や太文字に変更したり、フォント種やサイズ変更、その他網掛けやアンダーバーなどを自動的に行うことで、モノカラー複写のプリントにおいても、カラー原稿中の色文字部分をユーザーに示すことが可能なプリントを行なう機能を、ユーザーに対して簡単な操作で提供することを目的とする。

モノカラー（黒白）複写機では、複数個のカラーセンサーもしくは単一のセンサーを持つスキャナにより原稿画像を読み取り、それを紙の白色とトナーの黒色とで濃淡を表現することで、カラーやモノカラーの原稿をモノカラーでプリントする。また、ネットワーク機能を搭載するモノカラー複写機では、ネットワーク上に接続される他のカラー複写機においてスキャンされたカラー原稿のカラーデータなどが送信され、モノカラー複写機においてモノカラーデータに変換処理され、モノカラーでプリントすることができる。

さらには、カラー複写機においても、ランニングコスト低減のためにカラー原稿を複写する際には、モノカラーで出力できるモードを備えている。

又、別の従来例としては、特許文献１をあげることが出来る。
特開２００２ー２４７３９０号公報

しかしながら、上述のモノカラー複写機においては、例えば、赤文字や青文字などで、重要なキーワードを表しているカラー原稿を、モノカラー複写機でコピーしてしまうと、カラー情報が欠落してモノカラーでプリントされるので、赤文字や青文字などで表現された重要なキーワードであるかどうか分からなくなってしまうと言う課題がある。カラー複写機を使用していても、モノカラープリントモードを使用する際にも同様の課題がある。

そこで本発明は、カラー原稿中の色文字の部分を認識し、その認識結果に応じて色文字の形状を斜体や太文字に変更したり、フォント種やサイズ変更、その他網掛けやアンダーバーなどを自動的に行うことで、モノカラーのプリントにおいても、カラー原稿中の色文字部分をユーザーに示すことが可能なプリントを行なう機能を、ユーザーに対して簡単な操作で提供することを目的とする。

上記目的を達成するために、
画像データをラスタ画像データとして入力する画像入力手段と、前記画像入力手段で入力された前記ラスタ画像データをベクタ画像データに変換するベクトル変換手段と、前記ベクトル変換手段を前記ラスタ画像データに施すか否かを切り替える切替手段と、前記切替手段によって前記ベクトル変換手段によるベクタ変換を施さない場合と、前記切替手段によって前記ベクトル変換手段によるベクタ変換を施す場合とで、別々に生成枚数や機能使用回数の管理を行う画像管理手段と前記各手段を操作する操作部とを持つことを特徴とする画像処理装置
により、課題を解決する。

本発明によれば、原稿を読み取った後に、カラー原稿中の色文字をどのように変換するか指定さえすれば、自動的に指定した色文字の部分を認識し、変換指定に応じて色文字の形状を斜体や太文字に変更したり、フォント種やサイズ変更、その他網掛けやアンダーバーなどを自動的に行うことで、モノカラーのプリントにおいても、カラー原稿中の色文字部分をユーザーに示すことが可能なプリントを行なうことが可能になる。また、これらの認識および変換の実行処理はいずれも自動的に行なうことが可能であるため、ユーザーに対して簡単な操作で提供することができる。

次に、本発明の詳細を実施例の記述に従って説明する。

（外部システム構成）
本発明の実施の形態について説明する。

図１は本発明の画像処理装置を搭載するモノカラー複写機とカラー複写機を含む、画像入出力装置群の外部システム構成例を示すブロック図である。

図１においてオフィスA内に構築されたLAN103には、スキャナ部およびプリンタ部を備え、原稿をスキャンすることで生成される画像データを送信するスキャン機能、外部から受信した画像データをプリントするプリント機能、原稿をスキャンしてプリントするコピー機能などを備えるモノカラー複写機BW-MFP100と、BW-MFP100と同等な機能を有するが、カラープリントが可能なカラー複写機Color-MFP101が接続される。また、BW-MFP100、Color-MFP101からのスキャン画像データを受信したり、BW-MFP100、Color-MFP101へ画像データを送信しBW-MFP100、Color-MFP101の記憶装置部に保存したり、プリントすることなどが可能なClient-PC102が接続される。その他、外部ネットワーク網と接続するProxy-Server104が接続されており、LAN103はProxy-Server104を介してInternet105に接続することが可能である。

上述の外部システム構成では、本発明の画像処理装置をBW-MFP100、Color-MFP101に搭載している様子を説明したが、Client-PC102や図示しない画像処理Serverに搭載し、後述する色文字変換処理の画像処理を施した後にBW-MFP100、Color-MFP101よりモノカラープリントする構成としても良い。これらに関しては別実施例において説明する。

（BW-MFP100/Color-MFP101システム構成）
図２はBW-MFP100/Color-MFP101のシステム構成例を示すブロック図であり、画像入出力装置としてのスキャナ部およびプリンタ部、そして画像処理装置としてのデータ処理装置などから構成されるシステム構成図である。画像出力装置112の構成が、モノカラープリンタで構成される場合がBW-MFP100、カラープリンタで構成される場合がColor-MFP101の構成である。

図２においてオートドキュメントフィーダー（以降ADFと記す）を含むスキャナ部としての画像入力装置200は、束状の或いは1枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を例えば600DPIの密度のイメージ情報としてのラスタービットマップのスキャン画像データを得る。

以下にBW-MFP100/Color-MFP101で実現可能な機能とあわせて説明する。

「コピー機能」
通常のコピー（複写）機能は、スキャン画像データをデータ処理装置205において、スキャン画像データに対して各種の補正や認識の画像処理を施す。スキャン画像データは、記憶装置201に記憶保持された後に、再度、データ処理装置115において必要に応じた各種の画像処理が施される。その後、記録装置としての画像出力装置202に順次出力して、BW-MFP100の場合にはモノカラーで、Color-MFP101の場合にはカラーで紙上に画像を形成する。

データ処理装置205には図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどが含まれている。

また、記憶装置201に画像データを保持せずに、スキャン画像データをデータ処理装置205にて各種の補正を施した後に画像出力装置202より出力する場合もある。

「保存機能」
コピー機能と同様に、スキャンによって生成されるスキャン画像データを、記憶装置201に保持しておくことが可能である。さらには記憶装置201に保存されている画像データを、後述する送信機能や、プリント機能により、画像データを送信したり、プリント出力することが可能である。また、スキャン画像データだけでなく、他のMFPから送信されてくる画像データを保持したり、Client-PC102から送信される画像データを保持することも可能である。

「送信機能」
コピー機能と同様に、スキャンによって生成されるスキャン画像データを記憶装置201に保持した後、また上述の保存機能で記憶装置201に保持された画像データに対して、送信に関する各種画像処理をデータ処理装置205にて施した後、操作装置203および表示装置206を使用して指定した宛先に従って、ネットワークＩ／Ｆ204により、インターネット網を経由して指定された宛先へと画像データを送信する。また電話回線207を使用して、画像データをファクシミリ送信する構成も可能である。その他、オプションＩ／Ｆ208を使用して、無線LAN、、Infrared interface(赤外線)などの通信デバイスを装着し、こうした各種通信手段を利用して、画像データの送信を行なうことも可能である。また、記憶装置201に画像データを保持せずに、スキャン画像データをデータ処理装置205にて各種の送信に関する補正を施した後に送信する場合もある。

「プリント機能」
Cllient-PC102から出力されるプリントデータは、LAN103からネットワークIＩ／Ｆ204を経てデータ処理装置205によって記録可能なラスターデータに変換した後、前記記録装置202により、 BW-MFP100の場合にはモノカラーで、Color-MFP101の場合にはカラーで紙上に記録画像として形成される。また記憶装置201において保存しておくことも可能である。

以上、各種機能を実行するためのBW-MFP100、Color-MFP101への操作者の指示は、BW-MFP100、Color-MFP101に装備された操作装置203から行われ、これら一連の動作はデータ処理装置205内の制御部で制御される。操作入力の状態表示及び処理中の画像データの表示は表示装置206で行われる。さらには、上記各種のコピー機能、保存機能、送信機能、プリント機能を実行した際には、ここでは詳細は記述しないが、部門管理カウンタなどを備えることで、各機能の実行回数をカウントし、BW-MFP100、Color-MFP101における機能の使用管理を行うことができる。

（カラー画像データをモノクロ出力する際のフロー）
図３は、カラー画像データをスキャンして、その画像データに対して色文字変換処理を行ない、モノカラー出力を行なうフローを説明するフローチャートである。

図３において、操作者は操作装置203より、図示しない機能選択キーよりコピー機能を選択し、その後、色文字変換処理を行なう(ON)か否か(OFF)を図示しない色文字変換処理ON/OFFキーを押すことで選択する(S301)。色文字変換処理OFFを選択した場合には、その後、スキャン開始キーを押すことで画像入力装置200のスキャン動作が開始(S303)され、入力された画像データに対してガンマ変換や下地飛ばし処理などの所定の画像処理が施された後に画像出力装置202よりプリントされる(S308)。

色文字変換処理ONを選択した場合には、次に色文字変換方法の指定(S302)を行なう。色文字変換方法指定とは、『赤色の文字は、太字にする』、『青色の文字は、斜体にする』などを指定する行為をさしており、ここで指定した内容に応じて、後述する色文字変換処理(S307)において処理を施す。

（『赤色の文字は、太字にする』と指定していた場合には、後述するっベクトル化処理が予め施されていることでアウトライン関数化されている文字群の中から、赤色文字と認識された文字のアウトライン関数の数値を太文字になるよう変更し、赤色文字のみを太字に変換して、その他の文字は原稿通りに複写することで、原稿中の赤色文字部分のみが太字で表現されるので、カラー原稿をモノカラー出力する場合においても、プリント出力の中で色文字部分を視認することが可能になる。）
色文字変換方法指定を終了した後、スキャン開始キーを押すことで画像画像入力装置200のスキャン動作が開始(S303)される。スキャンは1枚の原稿をラスター状に走査し、600DPIの8ビット画像信号を得る。この画像信号をデータ処理部205で入力系の階調特性を補正する補正処理などを施し記憶装置201に保存する。データ処理装置205のＣＰＵはこの格納された画像信号に対して、ブロックセレクション(S304)、ＯＣＲ(S305)、ベクトル化処理(S306)を施す。

ブロックセレクション(S304)では、まず文字/線画部分と、ハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっている文字ブロック毎に、或いは細線や図形、もしくは表などの属性に分離し、各々のオブジェクトをセグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等の所謂ブロック毎に独立したオブジェクトに分割する。これによって、Text(文字)、Graphic(細線、図形)、Image(画像)、BackGround(背景)にオブジェクトが分割される。これは、属性の例としてText(文字)、Graphic(細線、図形)、Image(画像)、BackGround(背景)と挙げているだけで、属性の種類はこれに限るものではなく、またすべて使用することもないが、少なくともText(文字)属性だけは分離する必要はある。

属性毎にセグメント化された各オブジェクトのうち、文字オブジェクトと認識されたブロックに対しては、ＯＣＲ(S305)処理を行う。

ＯＣＲされた文字ブロックに対しては、更にベクトル化処理(S306)にて文字のサイズ、スタイル、字体、文字色を認識し、原稿を走査して得られた文字に可視的に忠実なアウトライン関数のデータに変換し、線で構成される表、図形ブロックに対してもアウトライン化／関数近似する。

そして、先に色文字変換方法指定(S302)で指定していた内容にあわせて、ベクトル化処理(S306)で得られた、例えば赤色の文字部分のアウトラインデータに対してライン幅を太くし、太文字になるような処理を施す色文字変換処理(S307)を行なう。色文字変換処理(S307)で処理された画像データは、記憶装置201に格納される。記憶保持された画像データは、出力系の特性の補正のためのガンマ変換や下地飛ばし処理などの所定の画像処理が施された後に画像出力装置202よりプリントされる(S308)。

（操作装置113と表示装置116の説明）
図４、図１６（ａ）、図１６（ｂ）は、操作装置113と表示装置116を示す操作画面の一例であり、これらは操作装置113と表示装置116が一体になっている操作画面構成の画面を示している。

この例で操作装置113と表示装置116は、LCDとタッチパネルから構成されるものとするが、もちろん操作装置113としてのハードキーもしくはマウスポインタ、表示装置116としてのCRTなど独立構成にしても構わない。

図４の操作画面400は操作装置113と表示装置116が一体となった操作画面であり、本発明のBW-MFP100、Color-MFP101の基本操作画面である。本発明における色文字変換処理は、操作画面400の例では『応用モード』内に入っているものとする。またコピー機能を選択する際にはキー401、送信機能を選択する際にはキー402、保存機能を選択する際にはキー403を押すと、操作画面400は、選択された機能に応じた画面表示へと切り替わる。この例ではキー401を押して、コピー機能を選択した場合の表示例を示している。キー404は拡張機能を有する場合のオプション画面である。

応用モードキー405を押下すると、操作画面400は、図１６（ａ）に示す操作画面410のように応用機能がまとめられている画面に切り替わる。ここで色文字変換処理キー411が色文字変換処理機能を動作可能にする選択キーである。この色文字変換処理キー411を押下すると、図１６（ｂ）に示す操作画面420が表示される。読込開始キー421は原稿読み取りのスキャン開始キーで、これを押下すると原稿を読み取る。キー422、423、424、425、426、427は、認識する色文字の色を指定する色選択キー。キー428、429、430、431、432、433は、選択した色に割り当てる変換処理を指定する処理指定キーである。

例えば、赤色文字を太字に変換したい場合には、レッドキー422と、太字キー428を押して、読込開始キー421を押すことで、赤色文字を認識して、認識された文字を太字に変換して出力を行なう動作を行なう。

以下にベクトル化処理に関する、各処理ブロックを詳細に説明する。

（ブロックセレクション処理（図３ステップ304））
ブロックセレクション処理とは、図５の左に示す、図３のステップ303で読み取った一頁のイメージデータを図５の右に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字/図画/写真/線/表等の属性に判定し、異なる属性を持つ領域に分割する処理である。

ブロックセレクション処理の実施例を以下に説明する。

先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。

ブロックセレクション処理で得られた各ブロックに対するブロック情報を図６に示す。これらのブロック毎の情報は以降に説明するベクトル化の為の情報として用いる。

（OCR処理（図３ステップ305））
ここでは公知のOCR処理技術を使用して、文字認識を行う。

『文字認識』
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション（ステップ304）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出出来る。

（ベクトル化処理（図３ステップ306））
次に、図３のステップ306で示されるベクトル化について詳説する。

まず、先にOCR処理により文字認識された文字ブロックに対して各文字に対してフォント認識処理を行う。

『フォント認識』
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。

『文字のベクトル化』
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

以上の処理により文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

『文字以外の部分のベクトル化』
ブロックセレクション処理（図３ステップ304）で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図７に図示するように、任意点Piに対し左右k個の離れた点Pi-k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大となる点として求められる。さらに、Pi-k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は3次スプライン関数などを用いてベクトル化することができる。

また、対象が内輪郭を持つ場合、ブロックセレクションで抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

さらに、図８に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、各距離PQiが平均的に一定長以下の場合、注目区間はPQi中点を点列として直線あるいは曲線で近似し、その太さはPQiの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。

即ち、従来、文字認識処理で誤認識を起こす文字に対しても、誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。

又、写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。

『図形認識』
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。

図９は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する（700）。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する（701）。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（702）。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。

図１０は、図形要素を検出するフローチャートを示している。先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（710）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する（711）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、710で除去された不要ベクトルのうち、711で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する（712）。

以上によって図形ブロックを個別に再利用可能な個別の図形オブジェクトとして扱う事が可能になる。

（ベクトルファイルの記憶保存）
一頁分のイメージデータをブロックセレクション処理（図３ステップ304）し、OCR処理（図３ステップ305）、ベクトル化処理（図３ステップ306）した結果は、図１１に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（DAOF）と呼ばれる。

図１１はDAOFのデータ構造を示す図である。

図１１において、791はHeaderであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部792では、文書画像データ中のTEXT（文字）、TITLE（タイトル）、CAPTION（キャプション）、LINEART（線画）、PICTURE（自然画）、FRAME（枠）、TABLE（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部793では、TEXT、TITLE、CAPTION等のTEXTブロックを文字認識して得られる文字認識結果を保持する。表記述データ部794では、TABLEブロックの構造の詳細を格納する。画像記述データ部795は、PICTUREやLINEART等のブロックのイメージデータを文書出して保持する。

このようなDAOFは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで、次にこのDAOFから図３ステップ130で後処理するためのデータに変換する処理について詳説する。

図１２は、全体の概略フローである。

8000は、DAOFデータの入力を行う。

8002は、アプリデータの元となる文書構造ツリー生成を行う。

8004は、文書構造ツリーを元に、DAOF内の実データを流し込み、実際のアプリデータを生成する。

図１３は、8002文書構造ツリー生成部の詳細フロー、図１４は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。以後ブロックとは、ミクロブロック、及びマクロブロック全体を指す。

8100は、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。

また、距離、幅、高さなどの情報はDAOFを参照し、抽出する。

図１４（ａ）は実際のページ構成、（ｂ）はその文書構造ツリーである。8100の結果、T3、T4、T5が一つのグループV1、T6、T7が一つのグループV2が同じ階層のグループとしてまず生成される。8102は、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはDAOF中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。8104は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、縦方向のグループ長がページ高さとなっている場合は、文書構造ツリー生成は終了する。

図１４の場合は、セパレータもなく、グループ高さはページ高さではないので、8106に進む。

8106は、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。関連性、及びその判定情報の定義は、縦方向の場合と同じである。

図１４の場合は、T1,T2でH1、V1,V2でH2、がV1,V2の1つ上の同じ階層のグループとして生成される。

8108は、横方向セパレータの有無をチェックする。

図１４では、Ｓ1があるので、これをツリーに登録し、H1、S1、H2という階層が生成される。

8110は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。

そうでない場合は、8102に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。

図１４の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ0が文書構造ツリーに付加される。文書構造ツリーが完成した後、その情報を元に8006においてアプリデータの生成を行う。

図１４の場合は、具体的には、以下のようになる。

すなわち、H1は横方向に2つのブロックT1とT2があるので、2カラムとし、T1の内部情報（DAOFを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、T2の内部情報出力、その後S1を出力となる。

H2は横方向に2つのブロックV1とV2があるので、2カラムとして出力、V1はT3、T4、T5の順にその内部情報を出力、その後カラムを変え、V2のT6、T7の内部情報を出力する。

上述のような形の画像データは、記憶装置201に保存される。そして、出力系の特性の補正のためのガンマ変換や下地飛ばし処理などの所定の画像処理が施された後に画像出力装置202よりプリントされる(S308)。

上述のように、原稿を読み取った後に、カラー原稿中の色文字をどのように変換するか指定さえすれば、自動的に指定した色文字の部分を認識し、変換指定に応じて色文字の形状を斜体や太文字に変更したり、フォント種やサイズ変更、その他網掛けやアンダーバーなどを自動的に行うことで、モノカラーのプリントにおいても、カラー原稿中の色文字部分をユーザーに示すことが可能なプリントを行なうことが可能になる。また、これらの認識および変換の実行処理はいずれも自動的に行なうことが可能であるため、ユーザーに対して簡単な操作で提供することができる。

（第二の実施例）
第一の実施例においては、外部システム構成の説明で、本発明の画像処理装置をBW-MFP100、Color-MFP101に搭載している様子を説明したが、Client-PC102や図示しない画像処理Serverに搭載し、BW-MFP100、Color-MFP101でスキャンした画像を、Client-PC102や図示しない画像処理Serverに転送し、色文字変換処理の画像処理を施した後にBW-MFP100、Color-MFP101に送り返して、モノカラープリントする構成としても良い。

（第三の実施例）
本発明における色文字変換処理は、スキャン画像を例に説明を行ったが、Client-PC102などからのプリントデータや、デジタルカメラなどで撮影した画像データなどに対しても、色文字部分を抽出し、任意の変更はかけてプリントすることも可能である。

（第四の実施例）
本発明における色文字変換処理後は、モノカラーのプリントを前提に話をしてきたが、カラー出力時においても、色文字部分の形状などを変更するようにしても、もちろん構わないので、モノカラープリントに限定するのもではない。さらには、プリントだけでなく、送信機能を使用して、色文字変更処理後の画像をLAN103などを使用してネットーワーク上の各種機器に転送することも可能である。

（第五の実施例）
さらには、本発明はMFPやPC上での処理に限るものではなく、画像データを扱うことが可能な機器であれば、その機器上で動作を行うことが可能である。

（第六の実施例）
図４においては、例えば、赤色文字を太字に変換したい場合には、レッドキー422と、太字キー428を押して、読込開始キー421を押すことで、赤色文字を認識して、認識された文字を太字に変換して出力を行なう動作を行なうを説明したが、これに加えて、緑色文字は斜体、青色文字は下線にしたい場合など、複数設定したい場合には、図１５のような操作部の構成でも良い。

図１５（ａ）において操作パネル1500では、確定キー1501が新たに追加されており、レッドキー422と、太字キー428を押した後に確定キー1501を押すことで、この組み合わせが登録される。この後、順番にグリーンキー423と斜体キー429と確定キー1501を押す。そして、ブルーキー424と下線キー431と確定キー1501を押す。この登録された内容は、図１５（ｂ）における操作パネル1510の確認窓1511のように表示され、ユーザーは登録内容を確認することができる。その後、読込開始キー421を押すことで、スキャンが開始され所定の処理が施される。

（第七の実施例）
色指定に関しては、指定したい色を読み取り、そのRGB値を登録し、操作パネル420の色指定キーに割り当てる構成にしても良い。

（第八の実施例）
第一の実施例においては、色文字変換処理後のイメージを確認することなく、プリント開始する構成を説明しているが、表示装置206でいったんプレビューして、この処理で良いか否かの確認を促す構成にしても良い。

また、スキャン後にプレビューを行ない、色文字変換処理を行なう文字部分をタッチパネルなどで指定する構成にしても良い。

（第九の実施例）
色文字部分の変換処理に関して説明を行なったが、ベクトル化では細線や図形のアウトライン化も可能であるので、色細線や色図形部分に関しても、太字線にするなどの処理を行なう構成としても良い。

本発明の画像処理装置を搭載するモノカラー複写機とカラー複写機を含む、画像入出力装置群の外部システム構成例を示すブロック図である。 BW-MFP100/Color-MFP101のシステム構成例を示すブロック図であり、画像入出力装置としてのスキャナ部およびプリンタ部、そして画像処理装置としてのデータ処理装置などから構成されるシステム構成図である。カラー画像データをスキャンして、その画像データに対して色文字変換処理を行ない、モノカラー出力を行なうフローを説明するフローチャートである。図４は操作装置113と表示装置116を示す操作画面の一例であり、これらは操作装置113と表示装置116が一体になっている操作画面構成のトップ画面を示している。図４は本発明のBW-MFP100、Color-MFP101の基本操作画面である。ブロックセレクション処理を説明する図である。ブロックセレクション処理で得られた各ブロックに対するブロック情報を示している。ベクトル化の手法を説明する図である。ベクトル処理を行なう際の外輪郭と内輪郭の処理を説明する図である。ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。図形要素を検出するフローチャートを示している。ドキュメント・アナリシス・アウトプット・フォーマットのデータ構造を示す図である。ＤＡＯＦを使用した一連の全体概略フローを説明する図である。文書構造ツリー生成部の詳細フローである。文書構造ツリーの説明図である。図１５ａ，図１５ｂは第六の実施例で説明する操作パネルの説明図。図１６ａ，図１６ｂは操作装置113と表示装置116を示す操作画面の一例であり、これらは操作装置113と表示装置116が一体になっている操作画面構成のトップ画面を示している。（ａ）図４の下位階層にある、応用機能がまとめられている画面である。（ｂ）図１６ａの下位階層にある、処理スタートを行なう画面である。

符号の説明

１００ BW-MFP
１０１ Color-MFP
１０２ Client-PC
１０３ LAN
１０４ Proxy-Server
１０５ Internet
２００画像入力装置
２０１記憶装置
２０２記録装置
２０３操作装置
２０４ネットワークＩ／Ｆ
２０５データ処理装置
２０６表示装置
２０７電話回線
２０８オプションＩ／Ｆ

Claims

画像データを入力する画像入力手段と、
前記画像入力手段で入力された画像データ中の、任意のオブジェクト属性を持ち、任意の色を持つオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記オブジェクト領域抽出手段で抽出したオブジェクトに対して、任意の変換処理を施すオブジェクト変換処理手段と、
前記オブジェクト変換処理手段によって所定の画像処理を施された画像データを出力する画像出力手段と
を有することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記画像入力手段は、原稿を読み取り走査してラスタ画像データとして入力されるスキャナ、リーダなどの画像読み取り装置であることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記画像入力手段は、デジタルカメラやデジタルビデオなどの撮像デバイス、ＰＣやＰＤＡなどのＣＰＵを持つコンピュータ、移動携帯通信端末やＦＡＸなどの通信デバイスなど、画像データを扱えるデバイスなどから画像データを得るためのインタフェースであることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記オブジェクト領域抽出手段は前記ラスター画像データを構成する画素郡に対して所定の属性を定義するための認識処理と、そのオブジェクトに対して属性を付ける属性付け処理とを含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記オブジェクト変換処理手段は前期画像データに対してアウトライン関数近似を行なうことによって、ラスターデータをベクトルデータに変換する処理を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記オブジェクト変換処理手段はオブジェクトの形状を任意に変更することが可能な処理を含むことを特徴とする画像処理装置。