JP2009135791A - 画像処理システム - Google Patents

Abstract

【課題】 画像データをベクトル化する際に無駄な時間を掛けることなく、ベクトル化処理を行うことが出来るようにする。
【解決手段】 スキャンデータに対して、予め設定したサンプリングポイント数でベクタ化を行い、その結果をユーザに通知する。ユーザがその結果に満足しなければ、再度サンプリングポイントを多くして、ベクタ化を行う。
【選択図】 図１

Description

本発明は、入力されたイメージ情報を汎用の文書作成アプリケーションソフトウェア等で再利用可能なベクトルデータに変換する画像処理システム及び画像処理方法に関する。

近年、環境問題に対する関心が高まっている中、オフィス等でのペーパーレス化が急速に進んでいる。これに伴って、従来からバインダー等で蓄積されていた紙文書をスキャナで読み取ってポータブルドキュメントフォーマット（以下、「ＰＤＦ」と記す。）に変換して、画像記憶装置にデータベースとして蓄積するようにした文書管理システムが知られている。

さらに、紙文書をスキャナで読み取って、原稿に記載されている文字、図或いは表等をＯＣＲ（Optical Character Recognition）技術やエッジ抽出等の画像処理を施すことにより、文字、図或いは表をベクトルデータとして生成することができる画像処理システムも知られている（例えば、特許文献１）。

また、そのベクトル化した結果をユーザに通知する画像処理装置も既知である（例えば特許文献２）。
特開平５−３４２４０８号公報 特開２００５−１５７４４９号公報

しかしながら、上述したベクトルデータを生成し、表示する従来の画像処理システムでは、ベクトルデータの生成結果にユーザが満足しない場合においても、再処理が行えない構成となっており、ユーザがベクトル化結果を確認できる効果が得にくい。

他方、オフィスにおいてはペーパーレス化が進行しており、紙の出力物と電子データをシームレスに扱えるような要求も生まれてきている。そのためには、紙と電子データとのI/F機器であるMFPにおいても、例えば蓄積文書の検索性の向上や、ラスタライズされた画像をスキャン後にオブジェクト化して再利用する、POD印刷に対応するために画像加工を高速化する、といったよりインテリジェントな機能を持つことが必要となっている。

上記課題を解決するために、本発明に係る画像処理システムは、
イメージ情報を入力する入力手段と、
前記イメージ情報を予め設定された処理係数にてベクトル化するベクトル化手段と、
前記イメージ情報がベクトル化されたことを識別可能に前記イメージ情報を印刷装置に出力する出力手段とを備え、その結果をユーザに通知し、その後再度、別の処理係数にてベクトル化を行う事が可能な事を特徴とする。

また、上記課題を解決するために、本発明に係る画像処理方法は、
イメージ情報を画像処理装置に入力する入力工程と、
前記イメージ情報をベクトル化するベクトル化工程と、
前記イメージ情報とベクトル化した結果を比較し、その後再度、ベクトル化を行う事が
可能なことを特徴とする。

さらに、上記課題を解決するために、本発明に係る画像処理システムは、
イメージ情報を入力する入力手段と、
前記入力手段で入力された前記イメージ情報を予め設定された処理係数にてベクトル化するベクトル化手段と、
前記ベクトル化手段によるベクトル化処理結果を示す結果レポートを出力する出力手段とその結果をユーザに通知し、その後再度、選択された部分のみを別の処理係数にてベクトル化を行う事が可能な事を特徴とする。

さらにまた、上記課題を解決するために、本発明に係る画像処理方法は、
イメージ情報を画像処理装置に入力する入力工程と、
前記入力工程で入力されたイメージ情報をベクトル化するベクトル化工程と、
前記イメージ情報とベクトル化した結果を比較し、その後再度、必要な部分のみをベクトル化を行う事が可能なことを特徴とする。

本発明により、画像データをベクトル化する際に無駄な時間を掛けることなく、ベクトル化処理を行うことが出来る。また、処理結果にユーザが満足しない場合は、再度有効なベクトル化処理を行う。

次に、本発明の詳細を実施例の記述に従って説明する。

本願発明の実施の形態について説明する。図１は本願発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、LAN103で接続された環境で実現する。LAN103には、マルチファンクションペリフェラル(以降MFPと記す)MFP100、MFP100に印刷・画像蓄積指示を行うクライアントPC102が接続されている。

図２は、MFP100の構成を説明するブロック図である。Controller Unit 2000は画像入力デバイスであるカラースキャナ2015や画像出力デバイスであるカラープリンタ2017と接続し、一方ではLAN2008や公衆回線(WAN)2051接続することで、画像情報やデバイス情報の入出力を行う為のコントローラである。CPU2001はシステム全体を制御するコントローラである。RAM2002はCPU2001が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ROM2003はブートROMであり、システムのブートプログラムが格納されている。HDD2004はハードディスクドライブで、システムソフトウェア、画像データを格納する。操作部I/F2005は操作部(UI)2006とインタフェース部で、操作部2006に表示する画像データを操作部2006に対して出力する。また、操作部2006から本システム使用者が入力した情報を、CPU2001に伝える役割をする。Network2007はLAN2008に接続し、情報の入出力を行う。Modem2050は公衆回線2051に接続し、画像情報の入出力を行う。2値画像回転2052、および2値画像圧縮・伸張2053はModem2053で2値画像を送信する前に画像の方向を変換したり、所定の解像度、あるいは相手能力に合わせた解像度に変換するためのものである。圧縮、伸張はJBIG、MMR、MR、MH をサポートしている。DMAC2009はDMAコントローラであり、RAM2002に格納されている画像をCPU2001を介することなく読み取りImageBusI/F2011に対して画像転送する、もしくは画像バスからの画像をCPU2001を介することなくRAM2002に書き込む。以上のデバイスがシステムバス2008に接続される。ImageBus2011は画像バス2010を介して高速な画像の入出力を制御するためのインタフェースである。圧縮器2012は画像バス2010に画像を送出する前に３２画素x３２画素の単位でJPEG圧縮するための圧縮器である。伸張器2013は画像バス2010を介して送られた画像を伸張するための伸張器である。

ラスタイメージプロセッサ(RIP)2018はホストコンピュータからのPDLコードをNetwork2007を介して受け取り、システムバス2008を通して、CPU2001がRAM2002に格納する。CPU2001はPDLを中間コードに変換し、再度システムバス2008を介してRIP2018に入力し、ビットマップイメージ（多値）に展開する。スキャナ画像処理2014はスキャナ2015からのカラー画像、白黒画像に対して、適切な各種画像処理（たとえば補正、加工、編集）を行い出力する（多値）。同様にプリンタ画像処理2016はプリンタ2017に対して適切な各種画像処理（たとえば補正、加工、編集）を行うプリント時は伸張2013で2値多値変換を行うので、2値、および多値出力が可能である。画像変換部2030はRAM上にある画像を画像変換し、再度、RAMに書き戻すときに使われる各種画像変換機能を有する。回転器2019は３２画素ｘ３２画素単位の画像を指定された角度で回転でき、2値、および多値の入出力に対応している。変倍器2020は画像の解像度を変換（たとえば600dpiから200dpi）したり、変倍したりする機能（たとえば25%から400%まで）を有する。変倍する前には32x32画素の画像を32ライン単位の画像に並び替える。色空間変換2021は多値入力された画像をマトリクス演算、およびLUTにより、たとえばメモリ上にあるYUV画像をLab画像に変換し、メモリ上に格納する。また、この色空間変換は3x8のマトリクス演算および、1次元LUTをもち、公知の下地とばしや裏写り防止を行うことができる。変換された画像は多値で出力される。ラスタ⇔ベクトル変換部2019はメモリ上にあるラスタデータをベクトル化する。詳細については後述する。2値多値変換2022は1bit2値画像を多値8bit、256階調にする。逆に多値2値変換2025はたとえばメモリ上にある8bit、256階調の画像を誤差拡散処理などの手法により1bit、2階調に変換し、メモリ上に格納する。合成はメモリ上の2枚の多値画像を合成し、1枚の多値画像にする機能を有する。たとえば、メモリ上にある会社ロゴの画像と原稿画像を合成することで、原稿画像に簡単に会社ロゴをつけることができる。間引き2024は多値画像の画素を間引くことで、解像度変換を行うユニットであり1/2,1/4,1/8の多値画像を出力可能である。変倍2020と合わせて使うことで、より広範囲な拡大、縮小を行うことができる。移動2025は入力された2値画像、多値画像に余白部分をつけたり、余白部分を削除したりして出力することができる。回転2019、変倍2020、色空間変換2021、2値多値2022、合成2023、間引き2024、移動2025、多値2値2026はそれぞれ連結して動作することが可能で、たとえばメモリ上の多値画像を画像回転、解像度変換する場合は、両処理をメモリを介さずに連結して行うことができる。グラフィックアクセラレータ2054はCPU2001からの要求を受けて、RAM2003上に画像データを生成し、外部表示装置2055に出力する。

なお、本発明で使用されるアルゴリズムのプログラムコードは、HDD2004上のシステムソフトウェアの一部に格納されている。

図３にスキャナ画像処理2014の詳細説明を示す。スキャナから入力されたRGB各8bitの輝度信号はマスキング2501によりCCDのフィルタ色に依存しない標準的なRGB色信号に変換される。フィルタ2502ではたとえば9x9のマトリクスを使用し、画像をぼかしたり、メリハリをつける処理が行われる。ヒストグラム2503は入力画像中の画像信号データのサンプリングをする処理部であり、入力画像の下地レベル判定に使用される。このモジュールでは主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内のRGBデータを、主走査方向、副走査方向に一定のピッチでサンプリングし、ヒストグラムを作成する。このヒストグラムは、下地とばしや、裏写り防止が指定されたとき、読み出され、ヒストグラムから原稿の下地を推測し、下地とばしレベルとして、画像とともにメモリやHDDに保存、管理され、印刷や送信時の画像処理に使用される。ガンマ2504では画像全体の濃度を濃くあるいは薄くするように処理が行われる。たとえば入力画像の色空間を任意の色空間に変換したり、入力系の色味に関する補正処理を行う部分である。原稿がカラーか白黒かを判断するために変倍前の画像信号を色空間変換2505によって公知のLabに変換する。このうちa,bは色信号成分を表しており、比較器2505内の所定のレベル以上であれば有彩色、そうでなければ無彩色として1bitの判定信号を比較器2505から出力する。カウンタ2507は比較器からの出力を計測する。文字／写真判定は画像から文字エッジを抽出し、画像を文字と写真に分離する機能である。出力として、文字写真判定信号が得られる。この信号も画像とともにRAMやHDDに格納され、印刷時に使用される。2509は特定原稿判定器である。特定原稿判定器は入力画像信号と、判定器内部で持つパターンがどの程度一致するかを比較し、図示したように一致、不一致という判定結果を読み出すことが可能である。判定結果に応じて、画像を加工し、紙幣や有価証券などの偽造を防止する。

図４に操作部2006の構成を示す。LCD表示部3001は、LCD上にタッチパネルシート3002が貼られており、システムの操作画面およびソフトキーを表示するとともに、表示してあるキーが押されるとその位置情報をコントローラCPU2001に伝える。スタートキー3003は原稿画像の読み取り動作を開始する時などに用いる。スタートキー2803中央部には、緑と赤の2色LED3004があり、その色によってスタートキー3003が使える状態にあるかどうかを示す。ストップキー3005は稼働中の動作を止める働きをする。IDキー3006は、使用者のユーザIDを入力する時に用いる。リセットキー3007は操作部からの設定を初期化する時に用いる。

[ラスタ−タイルベクトル変換部]
コントローラ１中のラスタ→ベクトル変換部１４の詳細について説明する。

ラスタ→ベクトル変換部１４は以下の各ステップにより実行される。

［ブロックセレクション処理］
ブロックセレクション処理とは、図７の右に示す、ステップ5004で読み取った一頁のイメージデータを、左に示す様に各オブジェクト毎の塊として認識し、該ブロック各々を文字/図画/写真/線/表等の属性に判定し、異なる属性を持つ領域に分割する処理である。

ブロックセレクション処理の実施例を以下に説明する。

先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。

［ベクトル化処理］
図８に示すイメージデータを各ブロック毎にベクトル化する。まず文字ブロックに対しては各文字に対して文字認識処理を行う。

［文字認識処理］
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクションで抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚この時文字のサイズが検出出来る。

［フォント認識］
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。

［文字のベクトル化］
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

以上の処理により文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

［文字以外の部分のベクトル化］
ブロックセレクション処理で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図９に図示するように、任意点Piに対し左右k個の離れた点Pi-k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大となる点として求められる。さらに、Pi-k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は3次スプライン関数などを用いてベクトル化することができる。

また、対象が内輪郭を持つ場合、ブロックセレクションで抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

さらに、図１０に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、各距離PQiが平均的に一定長以下の場合、注目区間はPQi中点を点列として直線あるいは曲線で近似し、その太さはPQiの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

尚先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。即ち、従来文字認識処理で誤認識を起こす文字に対しても誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。

又写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。

［図形認識］
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。

図１１は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する（700）。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する（701）。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（702）。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。

図１２は、図形要素を検出するフローチャートを示している。先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（710）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する（711）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、710で除去された不要ベクトルのうち、711で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する（712）。

以上によって図形ブロックを個別に拡大縮小再配置可能な個別の図形オブジェクトとして扱う事が可能になる。

［処理概要］
次に本発明による画像処理全体の概要を図５を用いて説明する。

図５においてまず、ステップ5001オペレータにより操作部2006を通じて、待機画面から本発明の画像形成方法（ベクトル化モード）の操作指示を行うと、次にステップ5002にて、スキャナ部2015を用いてイメージスキャンを行いステップ5003に進む。

5003では、スキャンされたデータは一旦メモリに格納された後、ラスタ⇔ベクトル変換部2018により、ベクトル化される。ここでベクトル化を行う際の任意点Pi、Qiの個数は予め設定した値にてベクトル化を行う。この任意点の個数の設定は、処理速度に依存して決定する事も可能である。例えば、ユーザが高速で処理を行いたい場合には任意点の個数を低く設定すれば良い。その後5004に進む。5004におけるベクトル化結果の表示については特許文献2にあるように、オリジナルデータと合成し、操作部2006に表示しても良いし、プリンタ2017を介して出力してユーザに通知しても良い。その後5005にて、ベクトルkを再度行うかどうかの判断を、操作部2006を用いてユーザに促す。すなわち、予め設定した任意点の個数の処理によって得られたベクトル化結果にユーザが満足しない場合は再度処理を行う事が可能である。もしくはユーザに促さずに処理装置自体が結果を自ら分析し判断しても良い。5005において再処理を行う場合は5006において、メモリに格納されているオリジナルデータを再度ラスタ⇔ベクトル変換部2018に転送し、前回設定した任意点の個数よりも多くの任意点にてベクトル化を再度行い5004に戻る。

5004において再度処理を行わないと判断した場合には5007にて処理終了となる。

また、本発明における別の実施形態としては実施系1で述べたベクトル化の再処理の手法を変更する事も可能である。具体的に以下で示す。

図６においてまず、ステップ6001オペレータにより操作部2006を通じて、待機画面から本発明の画像形成方法（ベクトル化モード）の操作指示を行うと、次にステップ6002にて、スキャナ部2015を用いてイメージスキャンを行いステップ6003に進む。

6003では、スキャンされたデータは一旦メモリに格納された後、ラスタ⇔ベクトル変換部2018により、ベクトル化される。ここでベクトル化を行う際の任意点Pi、Qiの個数は予め設定した値にてベクトル化を行う。この任意点の個数の設定は、処理速度に依存して決定する事も可能である。例えば、ユーザが高速で処理を行いたい場合には任意点の個数を低く設定すれば良い。その後6004に進む。6004におけるベクトル化結果の表示については特許文献2にあるように、オリジナルデータと合成し、操作部2006に表示しても良いし、プリンタ2017を介して出力してユーザに通知しても良い。その後6005にて、ベクトルkを再度行うかどうかの判断を、操作部2006を用いてユーザに促す。すなわち、予め設定した任意点の個数の処理によって得られたベクトル化結果にユーザが満足しない場合は再度処理を行う事が可能である。もしくはユーザに促さずに処理装置自体が結果を自ら分析し判断しても良い。6005において再処理を行う場合は、どの部分を再処理を行うかをユーザに操作部2006にて選択してもらうように促す。ユーザは再処理を行いたい部分を選択し決定する。また、再処理を処理装置自身が判断する場合においては、処理装置はオリジナルデータとベクトル化後を比較し、再処理が必要と判断した部分のみを再処理する。6006においては選択した部分のみのオリジナルデータを再度ラスタ⇔ベクトル変換部2018に転送し、前回設定した任意点の個数よりも多くの任意点にてベクトル化を再度行い6004に戻る。

6004において再度処理を行わないと判断した場合には6007にて処理終了となる。

システム構成図。 MFP構成図。 スキャナ画像処理の説明図。 画像形成装置の操作部外観図。 本発明の画像形成装置の処理フロー。 本発明の画像形成装置の別の処理フロー。 ブロック選択処理の概念図。 本発明の画像選択時パラメータ一覧。 文字以外の部分のベクトル化にまつわる角判定の説明図。 文字以外の部分のベクトル化にまつわる輪郭の区分線近似の説明図。 図形オブジェクト認識処理のフロー図。 図形要素検出処理のフロー図。

Claims (3)

1. 読み込んだイメージ情報をオブジェクトに分割し、ベクトル化する変換手段を備え、前記ベクトル化を行う際に予め設定した分解能でベクトル化を行い、その結果を通知もしくは解析する手段を備え、前記結果に満足しないと判断した場合には、再度別の分解能でベクトル化を行うことを特徴とした画像処理システム。
2. 読み込んだイメージ情報をオブジェクトに分割し、ベクトル化する変換手段を備え、前記ベクトル化を行う際に予め設定した分解能でベクトル化を行い、その結果を通知もしくは解析する手段を備え、前記結果に満足しないと判断した場合には、再度別の分解能で満足しない部分のみのベクトル化を行うことを特徴とした画像処理システム。
3. 前記解析する手段とはユーザに結果を出力し、ユーザが判断する、もしくは画像処理装置自身が読み込んだデータとベクトル化後の結果を解析することを特徴とする請求項１又は、請求項２に記載の画像処理システム。

Images