JP2008017213A - Image processing apparatus and its method - Google Patents
Image processing apparatus and its method Download PDFInfo
- Publication number
- JP2008017213A JP2008017213A JP2006186976A JP2006186976A JP2008017213A JP 2008017213 A JP2008017213 A JP 2008017213A JP 2006186976 A JP2006186976 A JP 2006186976A JP 2006186976 A JP2006186976 A JP 2006186976A JP 2008017213 A JP2008017213 A JP 2008017213A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- area
- character
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、原画像を例えば、OHP、ディスプレイ装置等を用いたプレゼンテーション用の画像データに変換する技術に関するものである。 The present invention relates to a technique for converting an original image into image data for presentation using, for example, an OHP or a display device.
複写機に入力された画像データは印刷用に作成されているため、例えば液晶プロジェクトや大型ディスプレイ等の表示装置に出力して表示しようとしても、その解像度の違いにより適正に表示されない。一般に印刷用の画像データの解像度は表示用画像データの解像度に比べてはるかに高いため、表示する場合には、その解像度を低下させて表示する必要がある。しかし、このような解像度の変換を行うと表示画像の細部が潰れてしまい、表示画像からはその詳細を読み取れなくなる。従って、表示用に画像データを最適化して表示する必要がある。また、大量ページの文書を用いてプレゼンテーションを行う場合には、説明したい部分にフォーカスするために多くの労力を必要とする。このような課題を解決するために、引用文献1には、プレゼンテーション用に作られていない論文等の通常の文書を、特定フォームに自動的に適応させることにより、プレゼンテーション用の文書を容易に得ることができる文書作成装置が提案されている。
しかしながらこの引用文献1に記載の発明では、予め原稿を特定し、これに応じてフォーム情報を設定しなければならない。例えば、フォームのタイトルや図表のキャプション等を原稿のマーキング等により指定するため、読み取る原稿が決まらないとフォーム情報を設定することができない。また画像データを表示用にそのまま拡大縮小すると、ぼやけたり、つぶれたりして見栄えが悪いという問題もある。
However, in the invention described in this cited
本発明の目的は、上記従来の問題点を解決することにある。 An object of the present invention is to solve the above-mentioned conventional problems.
本願発明の特徴は、原画像データに含まれる領域の中から表示用の領域を特定する入力条件と、その入力条件に該当する領域の出力条件を設定して、原画像データを効果的に出力する画像処理装置及びその方法を提供することにある。 The feature of the present invention is that an input condition for specifying a display area from among areas included in the original image data and an output condition of the area corresponding to the input condition are set, and the original image data is effectively output. The present invention provides an image processing apparatus and a method thereof.
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
入力画像を像域分離する像域分離手段と、
前記像域分離手段により分離された領域から、出力画像を選択するための入力条件に従って出力対象の領域を選択する領域選択手段と、
前記領域選択手段により選択された前記出力対象の領域の出力条件に応じて、前記出力対象の領域に含まれる画像データを変換する変換手段と、
前記変換手段により変換された画像データをそれぞれ独立した頁単位で画像出力装置に出力する出力手段と、を有することを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention has the following arrangement. That is,
Image area separating means for separating the input image into image areas;
An area selection means for selecting an output target area according to an input condition for selecting an output image from the areas separated by the image area separation means;
Conversion means for converting image data included in the output target area according to an output condition of the output target area selected by the area selection means;
Output means for outputting the image data converted by the conversion means to the image output apparatus in units of independent pages.
上記目的を達成するために本発明の一態様に係る画像処理方法は以下のような工程を備える。即ち、
入力画像を像域分離する像域分離工程と、
前記像域分離工程で分離された領域から、出力画像を選択するための入力条件に従って出力対象の領域を選択する領域選択工程と、
前記領域選択工程で選択された前記出力対象の領域の出力条件に応じて、前記出力対象の領域に含まれる画像データを変換する変換工程と、
前記変換工程で変換された画像データをそれぞれ独立した頁単位で画像出力装置に出力する出力工程と、を有することを特徴とする。
In order to achieve the above object, an image processing method according to an aspect of the present invention includes the following steps. That is,
An image area separation step for separating the input image into image areas;
An area selection step for selecting an output target area according to an input condition for selecting an output image from the areas separated in the image area separation step;
A conversion step of converting image data included in the output target region in accordance with an output condition of the output target region selected in the region selection step;
An output step of outputting the image data converted in the conversion step to the image output device in units of independent pages.
尚、この課題を解決するための手段は、本願発明の特徴の全てを列挙しているものではなく、特許請求の範囲に記載された他の請求項及びそれら特徴群の組み合わせも発明になり得る。 The means for solving this problem does not enumerate all the features of the present invention, and other claims described in the claims and combinations of these feature groups can also be the invention. .
本発明によれば、原画像の中の表示したい領域を特定し、その特定した領域を出力条件に合わせて出力することにより、原画像をユーザの意図に沿って有効的に出力することができる。 According to the present invention, by specifying a region to be displayed in an original image and outputting the specified region according to an output condition, the original image can be effectively output in accordance with the user's intention. .
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the present invention according to the claims, and all combinations of features described in the present embodiments are essential to the solution means of the present invention. Not exclusively.
図1は、本願発明の実施の形態に係る画像処理システムの構成例を示すブロック図である。 FIG. 1 is a block diagram showing a configuration example of an image processing system according to an embodiment of the present invention.
この画像処理システムは、LAN103を介して接続された環境で実現されている。このLAN103には、マルチファンクションペリフェラル(以降、MFP)100、このMFP100に対して印刷や画像データの蓄積指示等のコマンドを発行する行うクライアントPC102が接続されている。またMFP100には、表示のためのビデオ信号を出力する表示装置101が接続されている。ここではスクリーン104上に画像を投影して表示するビデオプロジェクタ105の場合で示している。尚、この表示装置は、プラズマやSED,液晶等の大型表示装置であっても良い。
This image processing system is realized in an environment connected via the
図2は、本実施の形態に係るMFP100の構成を説明するブロック図である。
FIG. 2 is a block diagram illustrating a configuration of
制御部2000は、画像入力デバイスであるカラースキャナ2015や画像出力デバイスであるカラープリンタ2017と接続し、またLAN103や公衆回線(WAN)2051と接続して、画像情報やデバイス情報の入出力を制御している。CPU2001は、このMFP100全体の動作を制御している。RAM2002は、CPU2001が動作するためのシステムワークメモリを提供しており、画像データを一時記憶するための画像メモリでもある。ROM2003はブートROMであり、システムのブートプログラムが格納されている。HDD2004はハードディスクドライブで、システムソフトウェア、画像データ等を格納する。操作部I/F2005は、操作部(UI)2006とのインタフェース部で、操作部2006に表示する画像データを操作部2006に出力する。また操作部2006から、ユーザが入力した情報をCPU2001に伝える役割をする。ネットワークI/F2007はLAN103と接続して情報の入出力を行う。モデム2050は公衆回線2051に接続して画像情報等の入出力を行う。2値画像回転部2052及び2値画像圧縮・伸張部2053は、モデム2050を介して2値画像を送信する前に、画像の方向を変換したり、所定の解像度或は相手能力に合わせた解像度に変換する。ここでの圧縮、伸張手法は、JBIG,MMR,MR,MHをサポートしている。DMAC2009はDMAコントローラで、RAM2002に格納されている画像データをDMAで読み取り、イメージバスI/F2011に対して転送したり、また画像バスからの画像をDMAでRAM2002に書き込む。以上のデバイスがシステムバス2008に接続されている。
The
イメージバスI/F2011は、画像バス2010を介して高速な画像データの入出力を制御するためのインタフェースである。圧縮器2012は、画像バス2010に画像データを送出する前に、32画素×32画素の単位でJPEG圧縮する。伸張器2013は、画像バス2010を介して送られた画像データを伸張する。ラスタイメージプロセッサ(RIP)2018は、PC102から送られてくるPDLコードをネットワークI/F2007を介して受け取り、システムバス2008を通してRAM2002に格納される。CPU2001は、このPDLコードを中間コードに変換し、再度システムバス2008を介してRIP2018に入力してビットマップイメージ(多値)に展開する。スキャナ画像処理部2014は、スキャナ2015から入力されるカラー画像データ、白黒画像データに対して、適切な各種画像処理(例えば補正、加工、編集)を行って出力する(多値)。同様に、プリンタ画像処理2016は、プリンタ2017に対して適切な各種画像処理(例えば補正、加工、編集)を行う。プリント時は伸張器2013で2値多値変換を行うので、2値及び多値出力が可能である。画像変換部2030は、RAM2002にある画像データを変換し、再度、RAM2002に書き戻すときに使われる各種画像変換機能を有する。回転器2019は、32画素×32画素単位の画像データを、指定された角度で回転でき、2値及び多値の画像データの入出力に対応している。変倍器2020は、画像データの解像度を変換(例えば、600dpiから200dpi)したり、変倍する(例えば、25%から400%まで)機能を有する。ここでは、変倍する前には32×32画素の画像データを32ライン単位の画像に並び替える。色空間変換器2021は、多値入力された画像データをマトリクス演算、及びLUTにより、例えばRAM2002のYUV画像データをLab画像データに変換してRAM2002に格納する。またこの色空間変換は、3×8のマトリクス演算、及び一次元LUTを有し、公知の下地飛ばしや裏写り防止を行うことができる。ここで変換された画像データは多値データとして出力される。2値多値変換器2022は、1ビットの2値画像データを、例えば多値8ビット(256階調)のデータに変換する。逆に多値2値変換器2025は、例えばRAM2002の8ビット(256階調)の画像データを、誤差拡散処理等の手法により1ビット(2階調)の2値データに変換してRAM2002に格納する。合成器2023は、RAM2002の2フレームの多値画像データを合成し、1フレームの多値画像データに変換する。例えば、RAM2002の会社ロゴの画像と原稿画像とを合成することで、原稿画像に簡単に会社ロゴをつけることができる。間引き器2024は、多値画像データの画素を間引くことで、画像データの解像度を変換する。ここでは、例えば1/2,1/4,1/8の多値画像データの間引きが可能である。この間引き器2024と変倍器2020とを合わせて使うことにより、より広範囲な画像データの拡大、縮小を行うことができる。移動器2025は、入力された2値画像データ、多値画像データに余白部分をつけたり、余白部分を削除したりして出力する。これら回転器2019、変倍器2020、色空間変換器2021、2値多値器2022、合成器2023、間引き器2024、移動器2025、多値2値器2026はそれぞれ連結して動作可能である。例えば、RAM2002の多値画像データを回転、解像度変換する場合は、上述の各機能を連結して使用することにより、これら処理をRAM2002を介さずに連結して行うことができる。グラフィックアクセラレータ2054は、CPU2001からの要求を受けて、RAM2002に画像データを生成し、表示装置101に出力する。尚、本実施の形態で使用されるアルゴリズムのプログラムコードは、HDD2004のシステムソフトウェアの一部に格納されている。又上述した各機能部は、それぞれハードウェアで構成されても良く、或はCPU2001とそのプログラムにより実現されても良い。
An image bus I / F 2011 is an interface for controlling high-speed input / output of image data via the
図3は、本実施の形態に係るスキャナ画像処理2014の機能を説明する機能ブロック図である。
FIG. 3 is a functional block diagram illustrating functions of the
スキャナ2015から入力されたRGB各8ビットの輝度信号は、マスキング2501により、スキャナ2015のCCD(不図示)のフィルタ色に依存しない標準的なRGB信号に変換される。フィルタ2502は、例えば9×9のマトリクスを使用し、画像をぼかしたり、メリハリをつける処理を行う。ヒストグラム2503は、入力画像データをサンプリングしており、入力画像データの下地レベルの判定に使用される。このモジュールでは、主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内のRGBデータを、主走査方向、副走査方向に一定のピッチでサンプリングしてヒストグラムを作成する。このヒストグラムは、下地飛ばしや、裏写り防止が指定されたときに読み出され、ヒストグラムから原稿画像の下地を推測し、下地飛ばしレベルとして、画像データとともにRAM2002やHDD2004に保存される。こうして保存されたデータは、印刷や送信時の画像データ処理に使用される。ガンマ2504は、画像全体の濃度を濃く、或は薄くする処理を行う。例えば、入力画像の色空間を任意の色空間に変換したり、入力系の色味に関する補正処理を行う。原稿がカラーか白黒かを判断するために、変倍前の画像信号を色空間変換2505によって公知のLabに変換する。このうちa,bは色信号成分を表している。比較器2506は、これらの信号を入力して所定レベルと比較し、所定レベル以上であれば有彩色、そうでなければ無彩色として1ビットの判定信号を出力する。カウンタ2507は、この比較器2506から出力される判定信号を計測する。文字/写真判定2508は、画像データから文字のエッジを抽出し、画像データを文字部分と写真部分とに分離する。この文字/写真判定2508の出力として、文字写真判定信号が得られる。この文字写真判定信号も画像データと共にRAM2002やHDD2004に格納され、印刷時に使用される。特定原稿判定器2509は、入力画像信号と、判定器2509の内部で持つパターンがどの程度一致するかを比較し、一致、不一致を示す特定原稿判定信号を出力する。特定原稿判定信号に基づいて、紙幣や有価証券等の画像の読み取りかどうかを判定し、その判定結果に応じて、スキャナ2015からの画像データを変換することにより、紙幣などの偽造を防止することができる。
The RGB 8-bit luminance signals input from the scanner 2015 are converted into standard RGB signals that do not depend on the filter color of the CCD (not shown) of the scanner 2015 by masking 2501. The
図4は、本実施の形態に係る操作部2006の構成を説明する図である。
FIG. 4 is a diagram illustrating the configuration of the
表示部3001は、液晶上にタッチパネルシート3002が貼られており、操作画面及びソフトキーを表示するとともに、表示してあるキーが押されると、その位置情報をCPU2001に伝える。スタートキー3003は、原稿画像の読み取り動作を開始する時等に用いる。このスタートキー3003の中央部には、緑と赤の2色LED3004が配置されており、その色によってスタートキー3003が使える状態にあるかどうかを示している。ストップキー3005は、稼働中の動作を止める働きをする。IDキー3006は、使用者であるユーザのID(識別番号)を入力する時に用いる。リセットキー3007は、操作部2006を使用した各種設定操作を初期化する時に用いる。
The
図5は、本実施の形態に係るCPU2001により実行されるソフトウェアの機能構成図である。
FIG. 5 is a functional configuration diagram of software executed by the
4010は、操作部2006を制御するUI制御部である。コピーアプリケーション4020、送信アプリケーション4021、ボックスアプリケーション4022は、UI制御部4010からの指示を受け、コピー動作、送信動作、ボックス画面からのスキャン、プリントを実行する。またPDLアプリケーション4023は、ネットワークアプリケーション4120からPDLコードを入力してPDLプリントジョブを投入する。4030は、機器制御部分の機器依存部分を吸収するための共通インタフェースである。ジョブマネージャ4040は、共通インタフェース4030から受け取ったジョブ情報を整理し、下位層のドキュメント処理部に伝達する。
このドキュメント処理部は、各種状況に応じて、その構成が異なる。即ち、ローカルコピーであればスキャンマネージャ4050とプリントマネージャ4090である。またリモートコピーの送信ジョブ、或は送信ジョブであれば、スキャンマネージャ4050とファイルストアマネージャ4100である。また、リモートコピーの受信ジョブであれば、ファイルリードマネージャ4060とプリントマネージャ4090である。更に、LIPSやPostScript等のPDLコードでは、PDLマネージャ4070とプリントマネージャ4090である。シンクマネージャ4080は、各ドキュメントマネージャ間の同期をとり、また各種画像処理を行うイメージマネージャ4110への画像処理の依頼は、このシンクマネージャ4080を介して行われる。またスキャン、プリント時の画像処理や画像ファイルの格納はイメージマネージャ4110が実施する。
The document processing unit has a different configuration depending on various situations. In other words, the scan manager 4050 and the
まずローカルコピー時のソフト処理について説明する。 First, software processing during local copy will be described.
ユーザによる操作により、UI制御部4010からコピー指示とともにコピーの設定がコピーアプリケーション4020に伝えられる。コピーアプリケーション4020は、UI制御部4010からの情報を共通インタフェース4030を介して、機器制御を行うジョブマネージャ4040に伝える。これによりジョブマネージャ4040は、スキャンマネージャ4050とプリントマネージャ4090にジョブの情報を伝達する。スキャンマネージャ4050は、デバイスI/F(デバイスI/Fは、コントローラ2000とスキャナ2015、及びコントローラ2000とプリンタ2017を結ぶシリアルI/F)を介してスキャナ2015にスキャン要求を行う。また同時に、シンクマネージャ4080を介してイメージマネージャ4110にスキャン用の画像処理要求を出す。イメージマネージャ4110は、スキャンマネージャ4050の指示に従って、スキャナ画像処理部2014の設定を行う。こうして設定が完了したら、シンクマネージャ4080を介してスキャン準備完了を伝える。その後スキャンマネージャ4050は、スキャナ2015に対してスキャンの開始を指示する。
By the user's operation, the
スキャナ2015で読取った画像データの転送完了は、図示しないハードウェアからの割り込み信号によってイメージマネージャ4110に伝えられる。シンクマネージャ4080は、イメージマネージャ4110からのスキャン完了を受けてスキャン完了をスキャンマネージャ4050、プリントマネージャ4090に伝える。同時にシンクマネージャ4080は、RAM2002に蓄積された圧縮画像データをHDD2004にファイル化するためイメージマネージャ4110に指示する。イメージマネージャ4110はこの指示に従ってRAM2002の画像データ(文字/写真判定信号を含めて)をHDD2004に格納する。この画像データの付随情報として、図示しないSRAMに、カラー判定/白黒判定結果、下地飛ばしを行うための下地飛ばしレベル、画像入力元としてスキャン画像データ、色空間RGBデータも格納される。またHDD2004への格納が終了し、スキャナ2015からのスキャン完了を受けたら、シンクマネージャ4080を介してスキャンマネージャ4050にファイル化の終了を通知する。スキャンマネージャ4050は、ジョブマネージャ4040に対して終了通知を返し、ジョブマネージャ4040は共通インタフェース4030を介してコピーアプリケーション4020へ返す。
The completion of the transfer of the image data read by the scanner 2015 is transmitted to the image manager 4110 by an interrupt signal from hardware (not shown). The
プリントマネージャ4090は、RAM2002に画像データが入った時点でデバイスI/Fを介して、プリンタ2017に印刷要求を発行する。同時にシンクマネージャ4080にプリント画像の処理要求を行う。シンクマネージャ4080は、このプリントマネージャ4090から要求を受けると、画像処理設定をイメージマネージャ4110に依頼する。イメージマネージャ4110は、前述した画像の付随情報に従ってプリンタ画像処理部2016を設定し、シンクマネージャ4080を介してプリントマネージャ4090にプリント準備完了を伝える。プリントマネージャ4090は、プリンタ2017に対して印刷指示を出す。プリント画像データの転送完了は、図示しないハードウェアからの割り込み信号によってイメージマネージャ4110に伝わる。シンクマネージャ4080は、このイメージマネージャ4110からのプリント完了を受けて、プリント完了をプリントマネージャ4090に伝える。プリントマネージャ4090はプリンタ2017からの排紙完了を受けるとジョブマネージャ4040に対して終了通知を返す。そしてジョブマネージャ4040は、共通インタフェース4030を介してコピーアプリケーション4020へ終了通知を返す。コピーアプリケーション4020は、こうしてスキャン、プリント動作が終了すると、ジョブ終了をUI制御部4010に通知する。
The
次に、リモートコピーのスキャンジョブ、送信ジョブの場合を説明する。 Next, the case of a remote copy scan job and transmission job will be described.
この場合は、プリントマネージャ4090に代わってファイルストアマネージャ4100がジョブマネージャ4040からの要求を受ける。スキャンされた画像データをHDD2004に格納し終わった時点で、シンクマネージャ4080から格納完了通知を受ける。この完了通知は、共通インタフェース4030を介して、リモートコピーならコピーアプリケーション4020に、送信ジョブなら送信アプリケーション4021に通知される。コピーアプリケーション4020、送信アプリケーション4021は、この通知の後、ネットワークアプリケーション4120に対してHDD2004に格納されたファイルの送信を依頼する。この依頼を受けたネットワークアプリケーション4120がファイルを送信する。ネットワークアプリケーション4120はジョブ開始時にコピーアプリケーション4020からコピーに関する設定情報を受け、それもリモート側の機器に通知する。ネットワークアプリケーション4120は、リモートコピーの場合、機器固有の通信プロトコルを使用して送信を行う。また送信ジョブの場合は、FTP,SMBのような標準的なファイル転送プロトコルを使用する。
In this case, the
ファクス送信する場合は、ファイルの格納後、送信アプリケーション4021から共通インタフェース4030、ジョブマネージャ4040を介してFAXマネージャ4041に送信が指示される。FAXマネージャ4041は、モデム2050を介して、相手機器とネゴシエーションし、必要な画像処理(カラー→白黒変換、多値2値変換、回転、変倍)をイメージマネージャ4110に依頼し、変換後の画像データをモデム2050を使って送信する。
In the case of fax transmission, after the file is stored, the
また、送信先にプリンタがある場合、送信アプリケーション4021は、共通インタフェース4030を介してプリントジョブとしてプリントの指示を行う。そのときの動作は以下で説明するリモートコピーのプリントジョブの場合と同様である。また、送信宛先が機器内のボックス宛先になっているときは、ファイルストアマネージャ4100によって機器内のファイルシステムに格納する。
When there is a printer at the transmission destination, the
又FAXの受信時は、FAXマネージャ4041は、モデム2050を使って画像データを受信し、画像ファイルとしてHDD2004に格納する。こうしてHDD2004に格納した後、ボックスアプリケーション4022に通知すると、ボックスアプリケーション4022から受信プリントの指示が共通インタフェース4030を介して、ジョブマネージャ4040になされる。その後は通常のボックスプリントジョブと同じ動作になるため、その説明を省略する。
At the time of FAX reception, the
リモートコピーのプリントジョブの場合は、送信側からの画像をネットワークアプリケーション4120がHDD2004に保存するとともに、コピーアプリケーション4020に対してジョブを発行する。コピーアプリケーション4020は、共通インタフェース4030を介してジョブマネージャ4040にプリントジョブを投入する。この場合はローカルコピーとは異なり、スキャンマネージャ4050に代わってファイルリードマネージャ4060がジョブマネージャ4040からの要求を受ける。受信した画像データをHDD2004からRAM2002に展開するための要求を、シンクマネージャ4080を介してイメージマネージャ4110に行う。イメージマネージャ4110は、RAM2002に画像データを展開する。イメージマネージャ4110は、その展開が終了した時点で、展開終了をシンクマネージャ4080を経由して、ファイルリードマネージャ4060とプリントマネージャ4090に伝える。プリントマネージャ4090は、RAM2002に画像データが格納された時点でデバイスI/Fを介して、プリンタ2017にジョブマネージャ4040から指示された給紙段、もしくはその用紙サイズを有する段を選択して印刷要求を発行する。自動用紙の場合には、画像サイズから給紙段を決定して印刷要求を発行する。これと同時に、シンクマネージャ4080にプリント画像データの処理要求を行う。シンクマネージャ4080は、プリントマネージャ4090から要求を受けると、プリント画像処理の設定をイメージマネージャ4110に依頼する。(このとき例えば最適サイズ用紙がなくなり、回転が必要になれば別途回転指示も依頼する。この回転指示があった場合は、イメージマネージャ4110が画像回転器2019を使って画像を回転する)。イメージマネージャ4110は、プリンタ画像処理部2016の設定を行い、シンクマネージャ4080を介してプリントマネージャ4090にプリント準備の完了を伝える。これによりプリントマネージャ4090は、プリンタ2017に印刷指示を出す。プリント画像データの転送完了は、図示しないハードウェアからの割り込み信号によってイメージマネージャ4110に伝えられる。シンクマネージャ4080は、イメージマネージャ4110からのプリント完了を受けると、プリント完了をファイルリードマネージャ4060とプリントマネージャ4090に伝える。これによりファイルリードマネージャ4060は、プリント終了通知をジョブマネージャ4040に返す。プリントマネージャ4090はプリンタ2017からの排紙完了を受けると、ジョブマネージャ4040に対して終了通知を返す。ジョブマネージャ4040は、共通インタフェース4030を介してコピーアプリケーション4020へ終了通知を返す。コピーアプリケーション4020は、こうしてスキャン、プリントが終了したらジョブ終了をUI制御部4010に通知する。
In the case of a remote copy print job, the
次にPDLデータの展開及び格納ジョブについて説明する。 Next, PDL data expansion and storage jobs will be described.
この場合は、PDLコードを投入したPC102からの要求がネットワークアプリケーション4120を経由してPDLアプリケーション4023に伝達される。PDLアプリケーション4023は、PDLデータ展開格納ジョブを共通インタフェース4030を介してジョブマネージャ4040に指示する。このときPDLマネージャ4070とファイルストアマネージャ4100がジョブマネージャ4040からの要求を受ける。ラスタ展開が終了した後の画像データを入力する部分に関しては、前述のスキャンジョブの場合と同様である。こうして展開されたRAM2002の画像データ(文字/写真判定信号を含めて)は、HDD2004に格納される。この画像データの付随情報として、図示しないSRAMにカラー/白黒情報、画像入力元としてPDL画像、色空間CMYKもしくはRGBも格納しておく。PDL画像をHDD2004に格納し終わった時点で、シンクマネージャ4080から格納完了通知を受け、それを共通インタフェース4030を介してPDLアプリケーション4023に通知する。PDLアプリケーション4023は、この通知の後、ネットワークアプリケーション4120にHDD2004への格納完了を通知する。これによりPDLコードを送信したPC102へもこの情報が伝達される。また、PDLプリントジョブの場合には、PDLマネージャ4070とプリントマネージャ4090によって、RAM2002に展開された画像データを印刷する。
In this case, a request from the
PDLコードから展開され格納された画像データのプリントは、UIで印刷指示された格納文書をボックスアプリケーション4022に対してプリントジョブとして発行される。ボックスアプリケーション4022は、共通インタフェース4030を介してジョブマネージャ4040にプリントジョブを投入する。この場合はローカルコピーとは異なり、スキャンマネージャ4050に代わってファイルリードマネージャ4060がジョブマネージャ4040からの要求を受ける。印刷指示された画像データをHDD2004からRAM2002に展開するための要求は、シンクマネージャ4080を介して、イメージマネージャ4110に発行される。この後の動作は、リモートコピーのプリントジョブで説明した動作と同様のため、その説明を省略する。
The print of the image data expanded and stored from the PDL code is issued as a print job to the box application 4022 for the stored document instructed to be printed by the UI. The box application 4022 inputs a print job to the
次に本発明の実施の形態に係るMFP100における処理の概要を図6を用いて説明する。
Next, an outline of processing in
図6は、本実施の形態に係るMFP100における画像処理を説明するフローチャートで、この処理を実行するプログラムは、実行時にHDD2004からRAM2002にロードされ、CPU2001の制御の下に実行される。
FIG. 6 is a flowchart for explaining image processing in
ここでは入力画像を像域分離して得られた複数のブロック(像域:部分要素)の内、設定された条件に合ったブロックを選択し、プレゼンテーション時には、各ブロックをそれぞれ1ページとし、それぞれの出力条件に合わせて出力する。以下詳しく説明する。 Here, out of a plurality of blocks (image area: subelement) obtained by separating the image area of the input image, a block that meets the set conditions is selected. At the time of presentation, each block is set to one page, Output according to the output conditions. This will be described in detail below.
まずステップS1で、ユーザによる操作部2006の操作により、待機画面からプレゼンテーションモードへの操作指示が入力されるとステップS2に進み、入力される各ページの部分要素(イメージ種別、キーワード、大きさ、色等)を選択するための条件を設定する。この入力画像の要素を選択するための条件設定について説明する。
First, in step S1, when an operation instruction to the presentation mode is input from the standby screen by the operation of the
この入力画像のブロックを選択する際の条件を設定する手順を説明する。 A procedure for setting conditions for selecting a block of the input image will be described.
図8は、図6のステップS2における、入力画像の各ページ毎に、各要素を選択する条件を設定する設定処理を説明するフローチャートである。 FIG. 8 is a flowchart for explaining the setting process for setting conditions for selecting each element for each page of the input image in step S2 of FIG.
まずステップS21で、オペレータにより操作部2006を通じて、予め保存されている条件を読み出すか否かが選択される。予め保存された選択条件を読み出さない場合、即ち、新たに条件を設定する場合はステップS22に進み、プレゼンテーション時に表示される各ページに相当する、入力画像のブロックのグループ番号(グループページ数:GOP数)を「1」にして(最初は「1GOP」)表示する。次にステップS23に進み、このグループ(GOP)に属するブロックの属性が入力される。ここでは属性として、「文字」、「写真」、「条件としない」のいずれかが入力される。この属性は、文字らしさ、写真らしさが、それぞれ度合い(%)で入力され、それに基づいて上述の属性を判定する。次にステップS24に進み、そのグループのキーワードを選択する。このキーワードは、各ブロックに含まれる文字を自動的に認識(OCR処理)した結果、その認識された文字列に含まれる特定の文字列を指定するものである。ここで複数のキーワードが選択された場合には、これらキーワードをAND条件で扱うか、OR条件で扱うか、NOT条件で扱うかが選択される。ここでAND条件が選択された場合は、それらキーワードが全て含むブロックを抽出する。またOR条件では、いずれかのキーワードを含むブロックを抽出する。更にNOT条件では、指定されたキーワードが含まれないブロックを抽出する。またOCR処理では、誤認識や、段落を跨る場合があるため、キーワード毎に重みを指定できるようにしても良い。
First, in step S21, the operator selects whether or not to read a previously stored condition through the
次にステップS25に進み、このグループ(GOP)に属するブロックの色味情報(色属性)を入力する。ここでは、「有彩色が含まれている度合い」(%)(「カラー属性」)、或は「無彩色が含まれている度合い」(%)(「白黒属性」)、又は「条件としない」のいずれかが入力される。次にステップS26に進み、このグループ(GOP)に属するブロックのサイズが入力される。このブロックサイズは、ページ全体に占めるブロックの割合(%)、又は「条件としない」のいずれかで指定される。 In step S25, color information (color attributes) of blocks belonging to this group (GOP) is input. Here, “degree of inclusion of chromatic color” (%) (“color attribute”), “degree of inclusion of achromatic color” (%) (“monochrome attribute”), or “not conditional” "Is entered. In step S26, the size of a block belonging to this group (GOP) is input. This block size is designated by either the ratio (%) of the block to the entire page or “not as a condition”.
次にステップS27に進み、次のグループに対する条件を設定するか否かを問い合わせ、ここで続けて次のグループに対する条件を設定する場合は、GOPの番号を+1してステップS22に戻る。一方、次のグループに対する条件を設定しない場合はステップS28に進み、これまでに入力された条件をHDD2004に保存して、この入力条件処理を終了する。
Next, the process proceeds to step S27 to inquire whether or not the condition for the next group is to be set. If the condition for the next group is subsequently set, the GOP number is incremented by 1 and the process returns to step S22. On the other hand, if the condition for the next group is not set, the process proceeds to step S28, the conditions input so far are stored in the
また前述のステップS21で、予め設定された条件を読み出すと選択された場合はステップS29に進み、記憶されている条件設定ファイルを一覧表示する。これに基づいてオペレータが所望の条件リストを選択するとステップS30に進み、その選択された条件をRAM2002に記憶して、この入力条件の設定処理を終了する。
If it is selected in step S21 that a preset condition is read, the process advances to step S29 to display a list of stored condition setting files. When the operator selects a desired condition list based on this, the process proceeds to step S30, the selected condition is stored in the
本実施の形態では、オペレータが操作部2006の表示を参照して、条件設定ファイルを選択して、入力条件を設定している。しかし、これ以外にも、PC102からネットワーク経由でWebブラウザで設定したり、出力すべき画像情報と共に、JobTicket等を通じて設定することも可能である。
In the present embodiment, the operator refers to the display on the
こうして入力条件が設定されるとステップS3に進み、出力される各ページ毎に、その出力条件(フォント種別、大きさ等)が選択されるとステップS4に進む。尚、この出力条件の設定方法を説明する。 When the input condition is set in this way, the process proceeds to step S3, and when the output condition (font type, size, etc.) is selected for each page to be output, the process proceeds to step S4. A method for setting the output condition will be described.
次に、出力される画像に対して条件を設定する手順を図9を用いて説明する。 Next, a procedure for setting conditions for an output image will be described with reference to FIG.
図9は、図6のステップS3における出力画像の設定処理を説明するフローチャートである。 FIG. 9 is a flowchart illustrating the output image setting process in step S3 of FIG.
まずステップS41で、オペレータにより操作部2006を通じて、予め保存された条件を読み出すか否かが選択される。ここで予め保存された出力条件を読み出さない場合、、即ち、新たに条件を設定する場合はステップS42に進み、プレゼンテーション時に表示されるGOPのページ数及びページ位置(先頭からのページ数又は最終からのページ数)、また、ステップS2で入力された条件に該当するページを全て正順又は逆順で出力するか等を設定する。
First, in step S41, whether or not to read a prestored condition is selected by the operator through the
次にステップS43に進み、文字ブロックをOCR処理した結果を用いて、再度画像としてラスタライズする際の文字フォントを選択する。ここでは、HDD2004にインストールされたフォントの一覧を表示して選択するか、フォントから文字を展開せず、ベクタ画像として扱うかのいずれかが選択される。次にステップS44に進み、出力されるブロックの大きさを選択する。ここでは、表示装置101からの情報に基づいて自動調整するか、ユーザが画素数を指定するかにより選択される。次にステップS45に進み、ブロック内で強調表示を行いたいキーワードを選択する。尚、ステップS43で、フォント種別を「考慮しない」とした場合は、この強調設定は無効となる。次にステップS46に進み、ステップS45で選択したキーワードの色情報が設定される。ここでは、RRGGBBの値を設定する。尚、ステップS43で、フォント種別を「考慮しない」とした場合、又は、ステップS45で、強調するキーワードが設定されていない場合は、ここで設定した色情報は無効となる。次にステップS47に進み、次のGOPに対して出力条件を設定するか否かを問い合わせ、設定する場合はステップS42に戻る。一方、条件をこれ以上設定しない場合はステップS48に進み、これまでに入力した画像表示条件をHDD2004に保存して、この出力条件の設定処理を終了する。
In step S43, a character font for rasterizing the image again is selected using the result of OCR processing of the character block. Here, either a list of fonts installed in the
一方、ステップS41で、予め設定された条件を読み出すと選択された場合はステップS49に進み、条件設定ファイルを一覧表示し、これを基にオペレータにより選択される。次にステップS50で、ステップS49で選択された条件をRAM2002に記憶して、この出力条件の設定処理を終了する。
On the other hand, if it is selected in step S41 that a preset condition is read, the process proceeds to step S49, where a list of condition setting files is displayed and selected by the operator based on this. In step S50, the condition selected in step S49 is stored in the
本実施の形態では、オペレータが操作部2006を使用して入力及び出力の条件ファイルを選択して設定している。しかし、本発明はこれに限定されず、クライアントPC102からネットワーク経由にてWebブラウザで設定したり、出力すべき画像情報とともにJobTicket等を通じて設定しても良い。
In this embodiment, the operator uses the
こうして出力条件が設定されるとステップS4(図6)に進み、処理対象の画像データの取得を行う。 When the output condition is set in this way, the process proceeds to step S4 (FIG. 6), and the image data to be processed is acquired.
ステップS4では、スキャナ2015を動作させて原稿画像を走査して読み取り、例えば600dpiで8(ビット/画素:256階調)の画像信号を入力する。この画像信号を更にスキャナ画像処理2014で前処理を施し、更に画像変換部2030により画像処理を施したた後、HDD2004に保存する。尚、このステップS4では、既にHDD2004などに記憶されている画像データを読み出し、その画像データを処理対象の画像データとしても良い。次にステップS5に進み、CPU2001はブロックセレクション処理を行う。ここで画像データを先ず、文字/線画部分とハーフトーンの画像部分とに領域分離する。そして文字部分を更に、段落として纏まっているブロック毎に分割する。また線で構成された表、図形のブロックにも分離し、各ブロックをそれぞれセグメント化する。一方、ハーフトーンで表現される画像ブロックは、矩形で分離した画像部分、背景部等というように、ブロック毎に独立したオブジェクトに分割する。
In step S4, the scanner 2015 is operated to scan and read a document image, and an image signal of 8 (bit / pixel: 256 gradations) is input at 600 dpi, for example. This image signal is further subjected to preprocessing by the
このブロックセレクション処理の一例を図10に示す。 An example of this block selection process is shown in FIG.
図10において、900は原画像を示す。901は、この原画像を像域分離した例を示す。ここでブロック1,2,3,5,8,10,11,12,14,16は、文字(テキスト)領域のブロックを示している。又ブロック4,7,9は、線のブロックを、ブロック15は図形(線画)領域のブロックを示している。
In FIG. 10, 900 indicates an original image.
図11(A)は、図10の画像900を読み取ってブロック分割した際のブロック情報を説明する図である。
FIG. 11A is a diagram illustrating block information when the
このブロック選択(領域選択)処理では、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。ここで面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出する。更に、一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。 In this block selection (region selection) process, the input image is binarized into black and white, and contour tracing is performed to extract a block of pixels surrounded by a black pixel contour. Here, for the black pixel block having a large area, the white pixel block is extracted by tracing the outline of the white pixel inside. Further, a black pixel block is recursively extracted from the white pixel block having a certain area or more.
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。例えば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とする。更に、近接する文字が整列良くグループ化できる部分を文字領域とし、扁平な画素塊を線領域とする。更に、一定大きさ以上で、かつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域とし、それ以外の任意形状の画素塊を図画領域等とする。 The black pixel blocks thus obtained are classified by size and shape, and are classified into regions having different attributes. For example, a pixel block having an aspect ratio close to 1 and a fixed size is defined as a pixel block corresponding to a character. Further, a portion where adjacent characters can be grouped with good alignment is defined as a character region, and a flat pixel block is defined as a line region. Furthermore, the area occupied by the black pixel block that is more than a certain size and contains the square white pixel block in a well-aligned manner is defined as the surface area, the area where the irregular pixel block is scattered is the photo area, and any other area A pixel block having a shape is used as a drawing area.
図11において、ブロック1−1〜1−16(1ページのブロック番号を示す)は、図10の16個のブロック1〜16に該当している。ここで属性「1」は文字領域を、「4」は線を、「2」は線画領域をそれぞれ示している。座標(X,Y)は、この矩形のブロック領域の左上の座標位置を示し、幅W、高さHはそのブロックの領域の幅と高さを示す。更にOCR情報の有無は、そのブロックが文字領域で、その領域の文字列をOCR処理(文字認識処理)した結果の有無を示す。更に選択ブロックIDは、入力条件に該当して、出力するように選択されたブロックのIDを示している。ここでは図10の903〜905で示すように、3つのブロック(ブロック2,14,15)が選択されており、これら3つのブロックのIDはそれぞれ「1」〜「3」に設定されている。
In FIG. 11, blocks 1-1 to 1-16 (indicating block numbers of one page) correspond to the 16
図11(B)は、1ページの画像900に含まれるブロック数(ここでは16)と、それらブロックの中から出力するように選択されたブロック数(ここでは3)を記述している。
FIG. 11B describes the number of blocks included in the
こうしてブロック情報が得られると次にステップS6に進み、本実施の形態に係る自動プレゼンテーション生成によって、独立したオブジェクトを含む各ブロックについて、前述の入力部分の要素選択によって選択条件と合致するか否かを確認し、各ブロックのIDに関連づけて記憶する。 When the block information is obtained in this way, the process proceeds to step S6, and whether or not the selection condition is met by the element selection of the input portion described above for each block including independent objects by automatic presentation generation according to the present embodiment. Are stored in association with the ID of each block.
この処理の具体例を図10を参照して説明する。 A specific example of this processing will be described with reference to FIG.
図10において902は、前述のステップS2で設定された入力画像の条件の一例を示している。ここで、1GOPは、文字領域を対象とし、そのキーワードは「表題」と「開発環境」とのAND条件としている。また2GOPは、文字領域を対象とし、そのキーワードは「背景」と「目的」とのOR条件としている。また3GOPは、線画領域を対象としている。さらに4GOPは、文字領域を対象とし、そのキーワードは「Linux」である。
In FIG. 10,
この結果、これら条件に合致するブロックとして、903〜906で示すようなブロックが抽出される。903は、1GOPに該当するブロック(ブロック2)を示し、このブロックは文字領域で、このブロックにはキーワード「表題」と「開発環境」の両方が含まれている。904は、2GOPに該当するブロックを示し、これはブロック14の文字領域に該当している。905は、3GOPに該当し、ここにはブロック15の線画が含まれている。そして906は4GOPに該当し、ここでは「Linux」を含む文字領域(ブロック2,5,14,16)が全て抽出されている。
As a result, blocks as indicated by
次にステップS7では、次に原稿画像を入力するかどうかを判断し、次の画像を入力する場合はステップS4に戻り、前述の処理を実行する。 Next, in step S7, it is determined whether or not a document image is to be input next. If the next image is to be input, the process returns to step S4 to execute the above-described processing.
こうして処理対象の画像を全て入力するとステップS8に進み、プレゼンテーションのための表示を開始する。 When all the images to be processed are input in this way, the process proceeds to step S8, and display for presentation is started.
図7は、このステップS8のプレゼンテーション表示処理を説明するフローチャートである。ここでは、図11に示すブロック情報のように、出力対象のブロックが既に選択されており、これら選択されたブロックを、それぞれ対応する出力条件に従って変換して出力する。 FIG. 7 is a flowchart for explaining the presentation display process in step S8. Here, like the block information shown in FIG. 11, blocks to be output have already been selected, and these selected blocks are converted and output in accordance with the corresponding output conditions.
まずステップS81で、例えば前述の図10に示すようにして得られた各GOPの中から、出力対象となるブロックを選択する。 First, in step S81, for example, a block to be output is selected from each GOP obtained as shown in FIG.
図12(A)(B)は、入力条件に基づくGOPと(図12(A))、出力条件に適合するGOP(図12(B))との関係を説明する図である。 12A and 12B are diagrams for explaining the relationship between a GOP based on an input condition (FIG. 12A) and a GOP that matches an output condition (FIG. 12B).
尚、1GOP〜3GOPでは、「先頭から1ページのみ表示」が指定されており、4GOPでは、「最終ページから1ページのみ」が指定されている。ここで入力条件に合致する1GOP〜3GOPの各ブロックの数は1つだけであるため、1GOP〜3GOPでは、入力条件で選択されたブロックが選択されている。一方、4GOPでは、入力条件に合致するブロックの数は4つであるが、最終のページに該当するブロック16だけが選択されている。
In 1GOP to 3GOP, “display only one page from the top” is designated, and in 4GOP, “only one page from the last page” is designated. Here, since there is only one block of 1 GOP to 3 GOP that matches the input condition, the block selected by the input condition is selected in 1 GOP to 3 GOP. On the other hand, in 4GOP, the number of blocks that match the input condition is four, but only the
次にステップS82に進み、出力対象のブロック(最初の1GOPのブロック)が文字領域かどうかを判定する。文字領域であればステップS83に進み、OCR結果から、ラスタイメージに展開する。このときステップS84で、そのフォントが指定されているか、或はキーワードの文字色が指定されているかを調べ、指定されているときはステップS85に進んで、その指定されたフォント及び/或は色で文字画像を出力する。一方、ステップS84で、これらの設定がなされていないときはステップS86に進む。 In step S82, it is determined whether the output target block (first 1 GOP block) is a character area. If it is a character area, the process proceeds to step S83, where the raster image is developed from the OCR result. At this time, in step S84, it is checked whether the font is specified or the character color of the keyword is specified. If so, the process proceeds to step S85 to specify the specified font and / or color. To output a character image. On the other hand, if these settings are not made in step S84, the process proceeds to step S86.
又ステップS82で、文字領域でないときはステップS93に進み、そのブロックの切り出しを行う。そしてステップS86に進む。 If it is determined in step S82 that the area is not a character area, the process proceeds to step S93 to cut out the block. Then, the process proceeds to step S86.
ステップS86では、その選択された各ブロックのサイズを確認する。そのブロックのサイズが、ステップS3で決定された出力画像条件のサイズに合致する場合はステップS90に進んで、そのブロックの画像を出力する。 In step S86, the size of each selected block is confirmed. When the size of the block matches the size of the output image condition determined in step S3, the process proceeds to step S90, and the image of the block is output.
しかしながら、ステップS86で、そのブロックサイズが一致しない場合はステップS87に進み、そのブロックが指示されたサイズよりも小さいかどうかを判断する。小さい場合はステップS88に進み、選択されたブロックの拡大率を、出力デバイスの表示可能画素数の短辺又は長辺に合わせて決定する。そしてニアレストネイバー法などの拡大処理を行って、そのブロックの画像の拡大処理を行う。ここでは文字領域であればその文字のフォントサイズも、その拡大率に応じて変更される。一方、ステップS87で、そのブロックが指示されたサイズよりも大きいと判断した時はステップS89に進み、そのブロックの画像の縮小処理を行う。ここでは出力デバイスの画素数に合わせて、短辺又は長辺に合わせて縮小倍率を決定する。そして、ニアレストネイバー法などの縮小処理を行う。ここで、この領域が文字領域であればその文字のフォントサイズも、その縮小率に応じて変更される。 However, if the block sizes do not match in step S86, the process proceeds to step S87 to determine whether the block is smaller than the instructed size. If smaller, the process proceeds to step S88, and the enlargement ratio of the selected block is determined according to the short side or the long side of the number of displayable pixels of the output device. Then, enlargement processing such as the nearest neighbor method is performed to enlarge the image of the block. Here, if it is a character area, the font size of the character is also changed according to the enlargement ratio. On the other hand, when it is determined in step S87 that the block is larger than the instructed size, the process proceeds to step S89, and the image of the block is reduced. Here, the reduction ratio is determined in accordance with the short side or the long side according to the number of pixels of the output device. Then, reduction processing such as the nearest neighbor method is performed. If this area is a character area, the font size of the character is also changed according to the reduction ratio.
こうして、そのブロックの出力すべき画像データが得られるとステップS90に進み、そのブロックの画像データを、1ページの出力画像として出力する。ここではラスタ画像を表示してオペレータの指示を待つ。こうしてステップS91で、続けて次のページを表示するように指示されると、次ページの出力条件に合致したGOPの次のブロックを選択するようにIDを+1してステップS81に戻る。又ステップS91で、入力画像の1ページの最終ブロックであった場合はステップS92に進み、入力画像に次ページがあるかを調べ、あればステップS81に戻って前述の処理を実行する。こうして最終ブロックになるか、或はユーザがプレゼンテーション処理を終了することを選択した場合は、表示用に作成したラスタデータを破棄して、この処理を終了する。 When image data to be output from the block is thus obtained, the process proceeds to step S90, and the image data of the block is output as an output image for one page. Here, a raster image is displayed and an operator instruction is awaited. In this way, when it is instructed in step S91 to continue to display the next page, the ID is incremented by 1 so as to select the next block of the GOP that matches the output condition of the next page, and the process returns to step S81. If it is determined in step S91 that the block is the last block of one page of the input image, the process proceeds to step S92 to check whether there is a next page in the input image. In this way, when it becomes the last block, or when the user chooses to end the presentation process, the raster data created for display is discarded and this process ends.
図13は、イメージデータの変倍処理を説明する図である。 FIG. 13 is a diagram for explaining a scaling process of image data.
レンダリング対象の画像ブロックに対して、出力したい画素数から各画素の位置を計算する。次に計算された位置の周辺の画素値を、原画像から4点を取る(1,2,3,4)。次にこれら取得した4点のサンプルと、計算した画素位置との距離(Wx,Wy)から、それぞれのサンプル点をどの程度重みを付けるか決定する。そして、これら4点に重みをつけて足し合わせることにより、目的の画素位置の画素データを得る。このような計算を、目的とする画像の全ての画素に対して行うことにより、変倍した画像データを得ることができる。 For the image block to be rendered, the position of each pixel is calculated from the number of pixels to be output. Next, four pixel values around the calculated position are taken from the original image (1, 2, 3, 4). Next, from the distances (Wx, Wy) between the obtained four samples and the calculated pixel positions, how much weight is to be applied to each sample point is determined. Then, the pixel data at the target pixel position is obtained by adding and weighting these four points. By performing such a calculation for all the pixels of the target image, the scaled image data can be obtained.
ベクトル化処理では、原画像データを各ブロック毎にベクトル化する。そして文字領域のブロックに対しては各文字に対して文字認識処理(OCR処理)を行う。文字認識部では、文字単位で切り出された画像データに対し、パターンマッチの一手法を用いて文字認識を行って、対応する文字コードを得る。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、予め字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。 In the vectorization process, the original image data is vectorized for each block. Then, character recognition processing (OCR processing) is performed on each character in the character area block. The character recognition unit performs character recognition on the image data cut out in character units by using a pattern matching method to obtain a corresponding character code. This character recognition process compares the observed feature vector obtained by converting the features obtained from the character image into a numerical sequence of several tens of dimensions with the dictionary feature vector obtained for each character type in advance, and determines the character type with the closest distance. This is a process for obtaining a recognition result. There are various known methods for extracting feature vectors. For example, there is a method characterized by dividing a character into meshes, and using a mesh number-dimensional vector obtained by counting character lines in each mesh as line elements according to directions.
文字領域に対して文字認識を行う場合は、まず該当領域で、横書き、縦書きかを判定し、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書きか、縦書きかの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列及び文字への分解は、横書きであれば水平方向の射影を利用して行を切り出し、更に切り出された行に対する垂直方向の射影から文字を切り出す。また縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時、文字のサイズも検出できる。この文字認識の際に用いる、字種数分の辞書特徴ベクトルを、文字形状種、即ち、フォント種に対して複数用意し、マッチングの際に文字コードと共にフォント種を出力する。こうして文字のフォントが認識できる。この文字認識及びフォント認識よって得られた、文字コード及びフォント情報を用いて、各々予め用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。尚、原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記憶する。 When character recognition is performed on a character area, it is first determined whether the writing is horizontal writing or vertical writing in the corresponding area, a line is cut out in a corresponding direction, and then a character is cut out to obtain a character image. Whether horizontal writing or vertical writing is determined is a horizontal / vertical projection of the pixel value in the corresponding area. If the variance of the horizontal projection is large, the horizontal writing area is determined. If the variance of the vertical projection is large, the vertical writing area is determined. That's fine. In the case of horizontal writing, the character string and characters are separated by using a horizontal projection to cut out a line, and further cut out a character from a vertical projection with respect to the cut out line. For vertically written character areas, horizontal and vertical may be reversed. At this time, the character size can also be detected. A plurality of dictionary feature vectors corresponding to the number of character types used for the character recognition are prepared for the character shape type, that is, the font type, and the font type is output together with the character code at the time of matching. In this way, the character font can be recognized. Using the character code and font information obtained by the character recognition and font recognition, the outline data prepared in advance is used to convert the character part information into vector data. If the document is in color, the color of each character is extracted from the color image and stored together with vector data.
以上の処理により、ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換できる。 Through the above processing, image information belonging to a block can be converted into vector data that is faithful in shape, size, and color.
前述のブロックセレクション処理で、図画或は線、表領域とされた領域を対象に、抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角とみなされる点で区切って、各区間を部分的な直線或は曲線で近似する。角とは曲率が極大となる点である。 In the block selection process described above, the contour of the extracted pixel block is converted into vector data for a region that is a drawing, line, or surface region. Specifically, a point sequence of pixels forming an outline is divided by points regarded as corners, and each section is approximated by a partial straight line or curve. The corner is the point where the curvature is maximized.
図14は、曲率が極大となる点の求め方を説明する図である。 FIG. 14 is a diagram for explaining how to obtain the point at which the curvature is maximized.
任意点Piに対して、左右k個の離れた点Pi-k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大点として求められる。更に、点Pi-k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。この角によって分割された後の各区間は、直線は点列に対する最小二乗法などを用いて、また曲線は3次スプライン関数等を用いてベクトル化することができる。 When a string is drawn between k left and right points Pi-k and Pi + k with respect to an arbitrary point Pi, the distance between the string and Pi is obtained as a maximum point. Furthermore, let R be the chord length / arc length between the points Pi-k and Pi + k, and the point where the value of R is equal to or less than the threshold value can be regarded as a corner. Each section after being divided by the corners can be vectorized using a least square method for a straight line for a straight line and a cubic spline function for a curve.
また、対象が内輪郭を持つ場合、ブロック選択処理で抽出した白画素輪郭の点列を用いて、同様に部分的な直線或は曲線で近似する。 Further, when the target has an inner contour, it is similarly approximated by a partial straight line or curve using the point sequence of the white pixel contour extracted by the block selection process.
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。尚、原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記憶する。 As described above, the outline of a figure having an arbitrary shape can be vectorized by using the contour line approximation. When the document is in color, the figure color is extracted from the color image and stored together with the vector data.
図15は、輪郭線をまとめる処理を説明する図である。 FIG. 15 is a diagram for explaining a process for grouping outlines.
ある区間で外輪郭と内輪郭、或は別の外輪郭が近接している場合、2つの輪郭線を一まとめにして、太さを持った線として表現することができる。具体的には、ある輪郭の各点Piから、別の輪郭線上で最短距離となる点Qiまで線を引き、各距離PQiが平均的にほぼ一定長以下の場合、注目区間を、PQi中点を点列として直線或は曲線で近似し、その太さはPQiの平均値とする。線や線の集合体である表罫線は、このような太さを持つ線の集合として効率よくベクトル表現することができる。 When an outer contour and an inner contour or another outer contour are close to each other in a certain section, two contour lines can be combined and expressed as a line having a thickness. Specifically, when a line is drawn from each point Pi of a certain contour to a point Qi that is the shortest distance on another contour line, and each distance PQi is on average approximately equal to or less than a certain length, Is approximated by a straight line or a curve as a sequence of dots, and the thickness is an average value of PQi. A table ruled line which is a line or a set of lines can be efficiently expressed as a set of lines having such a thickness.
尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明した。この文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って本実施の形態では、この様な文字に対しては、上記した様に、一般的な線画と同様に扱ってその文字をアウトライン化する。即ち、従来の文字認識処理で誤認識を起こす文字に対しても、誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。 The vectorization using the character recognition process for the character block has been described above. As a result of this character recognition process, the character with the closest distance from the dictionary is used as the recognition result.If this distance is greater than or equal to a predetermined value, the character does not necessarily match the original character and is erroneously recognized as a character with a similar shape. There are many cases. Therefore, in this embodiment, as described above, such characters are handled in the same manner as general line drawings, and the characters are outlined. That is, even a character that is erroneously recognized by the conventional character recognition processing is not vectorized into an erroneous character, but can be vectorized by an outline that is visually faithful to image data.
又、写真と判定されたブロックに対しては、ベクトル化ができないため、本実施の形態では、イメージデータのままとする。上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について、次に説明する。 Further, since it is not possible to vectorize a block determined to be a photograph, in this embodiment, image data remains as it is. A process of grouping the vectorized dividing lines for each graphic object after vectorizing the outline of the arbitrarily shaped graphic as described above will be described next.
図16は、ベクトルデータを図形オブジェクト毎にグループ化するまでの処理を説明するフローチャートである。 FIG. 16 is a flowchart for explaining processing until vector data is grouped for each graphic object.
まずステップS61で、各ベクトルデータの始点、終点を算出する。次にステップS62で、各ベクトルの始点、終点情報を用いて図形要素を検出する。この図形要素の検出とは、区分線が構成している閉図形を検出することである。この検出に際しては、閉形状を構成する各ベクトルは、その両端にそれぞれ連結するベクトルを有しているという原理を応用して検出する。次にステップS63で、図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は、その図形要素を図形オブジェクトとする。 First, in step S61, the start point and end point of each vector data are calculated. In step S62, a graphic element is detected using the start point and end point information of each vector. The detection of the graphic element is to detect a closed graphic formed by the dividing line. In this detection, detection is performed by applying the principle that each vector constituting the closed shape has a vector connected to both ends thereof. Next, in step S63, other graphic elements or dividing lines existing in the graphic element are grouped into one graphic object. If there is no other graphic element or dividing line in the graphic element, the graphic element is set as a graphic object.
図17は、図形要素を検出する処理(S62)を説明するフローチャートである。 FIG. 17 is a flowchart for explaining the graphic element detection process (S62).
先ずステップS71で、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する。次にステップS72に進み、閉図形構成ベクトルの中から、そのベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。この追跡を開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。更にまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後にステップS73で、ステップS71で除去された不要ベクトルの内、ステップS72で閉図形としてグループ化されたベクトルに接合しているものを検出し、一つの図形要素としてグループ化する。 First, in step S71, unnecessary vectors not connected to both ends are removed from the vector data, and a closed graphic component vector is extracted. Next, the process proceeds to step S72, in which the starting point of the vector is followed from the closed graphic component vector in order clockwise. This tracking is performed until returning to the start point, and all the passed vectors are grouped as a closed graphic constituting one graphic element. In addition, all closed graphic constituent vectors inside the closed graphic are also grouped. Further, the same processing is repeated with the starting point of the vectors not yet grouped as the starting point. Finally, in step S73, unnecessary vectors removed in step S71 are detected as being joined to the vector grouped as a closed graphic in step S72, and grouped as one graphic element.
以上説明した本実施の形態の処理によって、図形ブロックを個別に拡大及び縮小でき、かつ再配置可能な個別の図形オブジェクトとして扱うことが可能になる。 The processing of the present embodiment described above makes it possible to handle graphic blocks as individual graphic objects that can be individually enlarged and reduced and rearranged.
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
(Other embodiments)
Although the embodiments of the present invention have been described in detail above, the present invention may be applied to a system constituted by a plurality of devices or may be applied to an apparatus constituted by one device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。 In the present invention, a software program that implements the functions of the above-described embodiments is supplied directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program. Can also be achieved. In that case, as long as it has the function of a program, the form does not need to be a program.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the claims of the present invention include the computer program itself for realizing the functional processing of the present invention. In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。 Various recording media for supplying the program can be used. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明のクレームに含まれるものである。 As another program supply method, the program can be supplied by connecting to a home page on the Internet using a browser of a client computer and downloading the program from the home page to a recording medium such as a hard disk. In this case, the computer program itself of the present invention or a compressed file including an automatic installation function may be downloaded. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the claims of the present invention.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。 Further, the program of the present invention may be encrypted, stored in a storage medium such as a CD-ROM, and distributed to users. In that case, a user who has cleared a predetermined condition is allowed to download key information to be decrypted from a homepage via the Internet, and by using the key information, the encrypted program can be executed on a computer in a format that can be executed. To be installed.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 Further, the present invention can be realized in a form other than the form in which the functions of the above-described embodiments are realized by the computer executing the read program. For example, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。 Furthermore, the program read from the recording medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. In this case, thereafter, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. .
Claims (14)
前記像域分離手段により分離された領域から、出力画像を選択するための入力条件に従って出力対象の領域を選択する領域選択手段と、
前記領域選択手段により選択された前記出力対象の領域の出力条件に応じて、前記出力対象の領域に含まれる画像データを変換する変換手段と、
前記変換手段により変換された画像データをそれぞれ独立した頁単位で画像出力装置に出力する出力手段と、
を有することを特徴とする画像処理装置。 Image area separating means for separating the input image into image areas;
An area selection means for selecting an output target area according to an input condition for selecting an output image from the areas separated by the image area separation means;
Conversion means for converting image data included in the output target area according to an output condition of the output target area selected by the area selection means;
Output means for outputting the image data converted by the conversion means to the image output device in units of independent pages;
An image processing apparatus comprising:
前記像域分離工程で分離された領域から、出力画像を選択するための入力条件に従って出力対象の領域を選択する領域選択工程と、
前記領域選択工程で選択された前記出力対象の領域の出力条件に応じて、前記出力対象の領域に含まれる画像データを変換する変換工程と、
前記変換工程で変換された画像データをそれぞれ独立した頁単位で画像出力装置に出力する出力工程と、
を有することを特徴とする画像処理方法。 An image area separation step for separating the input image into image areas;
An area selection step for selecting an output target area according to an input condition for selecting an output image from the areas separated in the image area separation step;
A conversion step of converting image data included in the output target region in accordance with an output condition of the output target region selected in the region selection step;
An output step of outputting the image data converted in the conversion step to an image output device in units of independent pages;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186976A JP2008017213A (en) | 2006-07-06 | 2006-07-06 | Image processing apparatus and its method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186976A JP2008017213A (en) | 2006-07-06 | 2006-07-06 | Image processing apparatus and its method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008017213A true JP2008017213A (en) | 2008-01-24 |
Family
ID=39073823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006186976A Withdrawn JP2008017213A (en) | 2006-07-06 | 2006-07-06 | Image processing apparatus and its method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008017213A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182662A (en) * | 2008-01-30 | 2009-08-13 | Ricoh Co Ltd | Image processing device, image processing method, program, and storage medium |
JP2014127923A (en) * | 2012-12-27 | 2014-07-07 | Konica Minolta Inc | Image processing program, image processor and control method of image processor |
-
2006
- 2006-07-06 JP JP2006186976A patent/JP2008017213A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182662A (en) * | 2008-01-30 | 2009-08-13 | Ricoh Co Ltd | Image processing device, image processing method, program, and storage medium |
JP2014127923A (en) * | 2012-12-27 | 2014-07-07 | Konica Minolta Inc | Image processing program, image processor and control method of image processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4012140B2 (en) | Image processing apparatus, information processing apparatus, control method therefor, and program | |
US7551753B2 (en) | Image processing apparatus and method therefor | |
US8244035B2 (en) | Image processing apparatus and control method thereof | |
US8780372B2 (en) | Image processing apparatus and image processing method to read and prevent loss of coded information | |
JP2004265384A (en) | Image processing system, information processing device, control method, computer program, and computer-readable storage medium | |
JP2007174270A (en) | Image processing apparatus, image processing method, storage medium, and program | |
JP5137759B2 (en) | Image processing device | |
JP2006023942A (en) | Image processing system and image processing method | |
JP5972578B2 (en) | Image processing apparatus, image forming apparatus, program, and recording medium | |
JP2009272889A (en) | Image processor and image processing method | |
JP4582204B2 (en) | Image processing apparatus, image conversion method, and computer program | |
JP2008154106A (en) | Concealing method, image processor and image forming apparatus | |
US8452045B2 (en) | Image processing method for generating easily readable image | |
JP4582200B2 (en) | Image processing apparatus, image conversion method, and computer program | |
US7337397B2 (en) | Separation, transmission and display of character and non-character data | |
JP2010146218A (en) | Image processing apparatus, image processing method, computer program | |
JP2008017213A (en) | Image processing apparatus and its method | |
JP2020067959A (en) | Image processing apparatus, and control method and program thereof | |
JP2005352777A (en) | Image processor and control method thereof, and program | |
JP2010021848A (en) | Image processing apparatus, image processing method and program | |
JP4710672B2 (en) | Character color discrimination device, character color discrimination method, and computer program | |
JP7301529B2 (en) | Image processing device, image processing method, and program | |
JP2008092419A (en) | Image processor and image processing method | |
JP2003219187A (en) | Image processing method and image processor | |
JP2007028181A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091006 |