JP2011024116A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】できる限り画質に影響を与えないで処理時間を短縮し、パンチ穴検索などの端部での認識処理を行っても生産性が低下しない画像処理装置等を提供すること。
【解決手段】画像データを入力する画像入力手段１と、所定画素毎に予め定められた所定のサイクル時間ずつ画像処理を施す画像処理手段２Ａと、を有する画像処理装置１００であって、画像データの少なくとも一部に複数の処理要素からなる第１の画像処理を施す第１の画像処理手段２Ａと、特定領域の画像データに第２の画像処理を施す第２の画像処理手段２Ａと、を有し、第２の画像処理手段が、前記特定領域の画像データに前記第２の画像処理を施すと共に、前記第１の画像処理手段が、前記特定領域の画像データに、前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクル時間を超えない範囲で、一以上の前記処理を施す、ことを特徴とする。
【選択図】図６

Description

本発明は、画像処理装置等に関し、特に、デジタル画像データを画像処理する画像処理装置、画像処理方法及びプログラムに関する。

半導体技術の進歩により、画素数が非常に多い複写機・複合機の分野においても画像処理をソフトウェアで実施する機会が増加している。複写機・複合機で扱う画像データの画素数は、デジタルスチールカメラなどと比較しても多い。画像処理の一例として、例えば、パンチ穴の検出処理が挙げられる。パンチ穴検出のような認識処理は、ハード化しにくいアルゴリズムも多く、ソフトウェアで実施することが多くなっている。なお、パンチ穴を検出するのは、原稿のパンチ穴の跡が複写時に用紙側に複写されないようにするためである。すなわち、ファイル等で綴じられていた原稿を複写機・複合機・スキャナ等の画像機器より入力する場合、入力画像の一部にパンチ穴跡が存在する。この原稿を複写した後の用紙にも同様にパンチ穴の跡が複写されることとなる。これらのパンチ穴は画像機器を利用するユーザにとっては必要の無い情報であるため、自動的に除去されることがこのましい。

パンチ穴検出をソフトウェアにより実装する際、一般的にはフレームメモリに格納された1フレーム分の画像データに対し、ＣＰＵが認識処理を実行するため、処理時間が長くなり生産性が低下するという問題がある。

そこで、パンチ穴の検出にかかる時間を短縮する技術が考えられている（例えば、特許文献１参照。）。図３１（ａ）はパンチ穴の場所の一例を示す図である。図３１（ａ）に示すように、パンチ穴は原稿の端部にしか存在しない。特許文献１では、入力手段より得られた画像データに対し、図３１（ｂ）のように探索範囲を設定する。探索範囲を狭めることで、画像フレーム全体を探索するよりも精度良く、かつ、処理時間も短縮させることができる。

また、画像処理範囲を指定しておくことで、処理時間を短縮する技術がある（例えば、特許文献２参照。）。特許文献２には、画像処理する部分を画像内の指定した任意領域として、選択的に処理された領域を入力された画像データの元の位置に置換する画像処理装置が開示されている。

しかしながら、特許文献１記載の技術では、探索範囲を狭めても、なお画像の端部のパンチ穴を検出する分の画像処理が必要となるという問題がある。

また、特許文献２には次の２つの問題がある。1つは、使用者が画像の一枚一枚に対して高画質化する箇所を選択するのは大変煩わしいことである。2つ目は、選択していない箇所に何も画像処理をしないと以下のような画質に関する課題が生じる。
・高画質化処理を行った箇所と何も処理していない箇所で地肌の色が異なり、使用者が違和感を感じる(特に原稿が色紙などの場合)。
・特に地肌除去しない原稿の場合、高画質化処理しない箇所のグレーバランスが崩れる。
・孤立点、縦スジなどが存在する可能性があり、複写後の視認性が低下する。また、インクジェットプリンタなどでは孤立点などが端部にあると出力スピードが遅くなることも指摘される。

本発明では、上記課題を鑑みてなされたもので、できる限り画質に影響を与えないで処理時間を短縮し、パンチ穴検索などの端部での認識処理を行っても生産性が低下しない画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題に鑑み、本発明は、画像データを入力する画像入力手段と、画像データの所定画素毎にサイクル時間ずつ画像処理を施す画像処理手段と、を有する画像処理装置であって、画像データの少なくとも一部に複数の処理要素からなる第１の画像処理を施す第１の画像処理手段と、特定領域の画像データに第２の画像処理を施す第２の画像処理手段と、を有し、前記第２の画像処理手段が、前記特定領域の画像データに前記第２の画像処理を施すと共に、前記第１の画像処理手段が、前記特定領域の画素に、前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクル時間を超えない範囲で、一以上の前記処理を施す、ことを特徴とする。

前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクルを超えない範囲で処理を施すことで、パンチ穴検索などの端部での認識処理を行っても生産性が低下することを防止できる。

できる限り画質に影響を与えないで処理時間を短縮し、パンチ穴検索などの端部での認識処理を行っても生産性が低下しない画像処理装置、画像処理方法及びプログラムを提供することができる。

ＭＦＰのハードウェア構成図の一例である。 コピー動作プロセスの手順を示すフローチャート図の一例である。 画像データ処理装置２Ａの処理ブロック図の一例である。 画像データ処理装置２Ｂの処理ブロック図の一例である。 画像データの端部を模式的に説明する図の一例である。 画像処理を説明する図の一例である。 読取り装置と画像データ処理装置２ＡとのＩ／Ｆを模式的に示す図の一例である。 ラインと画素の関係を模式的に説明する図の一例である。 画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例である。 図３、図９に示した各画像処理のstep数の目安を示す図の一例である。 具体的にＤＳＰが1ライン分の画像データを処理する際の手順を説明するフローチャート図の一例である。 パンチ穴認識処理と共に実行可能な高画質化処理の一例を示す図である。 パンチ穴の画素を模式的に示す図の一例である。 集約印刷された入力原稿の一例を示す図である。 画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例である（第２の実施形態）。 操作表示装置に表示された認識処理領域の選択画面の一例を示す図である。 デジタル画像データとSIMDの関係を模式的に説明する図の一例である。 パンチ穴認識と文字の認識の両方を検出する手順を示すフローチャート図の一例である。 パンチ穴か否かの判定方法を説明する図の一例である。 文字の再配置を説明するための図の一例である。 ７SIMD目,８SIMD目の認識処理のフローチャート図の一例である。 認識処理に応じて割り当てたstep数の一例を示す図である。 各々のSIMDでの処理内容を登録したテーブルの一例である。 各SIMDとstep数の関係の一例を示す図である。 ＤＳＰが1ライン分の画像データを処理する際の手順を説明するフローチャート図の一例である。 本を読み取って入力される入力画像データの一例を示す図である。 画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例を示す。 操作表示装置に表示される、頁番号の認識処理を施す領域の選択画面の一例を示す図である。 コピー動作プロセスの手順を示すフローチャート図の一例である。 頁欠落の可能性をユーザに通知するための画面の一例を示す図である。 従来のパンチ穴の検出方法を説明する図である。

以下、本実施形態の画像処理装置を、デジタルカラー複写機をベースにＦＡＸ(ファクシミリ)機能・プリンタ機能・スキャナ機能・ドキュメントボックス機能などを複合したＭＦＰ(デジタル複合機)１００を例にして説明する。本実施形態の画像処理を提供する装置は、ＭＦＰ１００である必要はなく、コンピュータを実体とする情報処理装置であれば好適に適用できる。

〔ＭＦＰ１００のハードウェア構成図〕
図１は、ＭＦＰ１００のハードウェア構成図の一例を示す。読取り装置１はＣＣＤ光電変換素子を備えたラインセンサ、Ａ／Ｄコンバータ及びそれらの駆動回路を有し、コンタクトガラスにセットされた原稿を光学的に走査（スキャン）する。読取り装置１は、スキャンにより得られた原稿の濃淡情報から、ＲＧＢ各８ビットのデジタル画像データを生成し画像データ処理装置２Ａに出力する。

画像データ処理装置２Ａは、読取り装置１から入力されたデジタル画像データに対し、予め定めた特性（例えば、後述する図３の各処理により得られる特性）に統一する処理を施して出力する。統一する特性は、デジタル画像データをＭＦＰ１００内部に蓄積し、その後再利用する場合に、出力先の変更に適した特性である。なお、その詳細は後述する。本実施形態ではこの画像処理をＤＳＰで実行するようにする。

バス制御装置３は、ＭＦＰ１００内で必要な画像データや制御コマンド等、各種データのやり取りを行うデータバスの制御装置で、複数種のバス規格間のブリッジ機能も有している。本実施形態では、バス制御装置３と、画像データ処理装置２Ａ、画像データ処理装置２Ｂ及びＣＰＵ６はPCI-Expressバスにより，バス制御装置３とＨＤＤ５とはＡＴＡバスにより、それぞれ接続されている。また、バス制御装置３はＡＳＩＣ（Application Specific Integrated Circuit）化されている。

画像データ処理装置２Ｂは、画像データ処理装置２Ａにより、予め定めた特性に統一されたデジタル画像データに対し、ユーザから指定される出力先に適した画像になるように画像処理を施し出力する。その詳細は後述する。

ＨＤＤ５は、デスクトップパソコンにも使用されている電子データを保存するための大型の記憶装置で、本ＭＦＰ１００内では主にデジタル画像データ及びデジタル画像データの付帯情報を蓄積する。また、本実施形態ではＩＤＥを拡張して規格化されているＡＴＡバス接続のハードディスクを使用する。

ＣＰＵ６は、本ＭＦＰ１００の制御全体を司るマイクロプロセッサである。また本実施形態では近年普及してきたＣＰＵコア単体に+αの機能を追加したIntegrated ＣＰＵを使用した。本実施形態では、汎用規格Ｉ／Ｆとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたＣＰＵを使用する。

メモリ７は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にやりとりするデータを記憶したり、ＣＰＵ６が本ＭＦＰ１００の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。

ＣＰＵ６には高速処理を求められるため、通常起動時にＲＯＭ１４に記憶されたブートプログラムにてシステムを起動し、その後はＲＯＭ１４から、高速にアクセス可能なメモリ７に展開されたプログラム１７によって処理を行う。本実施形態では規格化されパーソナルコンピュータに使用されているDIMMを使用する。プログラム１７は、記憶媒体１８から読み取られたり、ネットワークを介して、ＭＦＰ１００のＲＯＭ１４やＨＤＤ５にインストールされる。

プロッタＩ／Ｆ装置８は、ＣＰＵ６にインテグレートされた汎用規格Ｉ／Ｆ経由で送られてくるCMYKからなるデジタル画像データを受け取ると、プロッタ装置９の専用Ｉ／Ｆに出力するバスブリッジ処理を行う。本実施形態で使用している汎用規格Ｉ／ＦはPCI-Expressバスである。
プロッタ装置９はＣＭＹＫからなるデジタル画像データを受け取ると、レーザービームを用いた電子写真プロセスを使って、転写紙に受け取った画像データを出力する。

Ｓ.Ｂ．１３は、パーソナルコンピュータに使用されるチップセットのひとつで、South Bridgeと呼ばれる汎用の電子デバイスである。主にPCI-ExpressとISAブリッジを含む、ＣＰＵシステムを構築する際によく使用されるバスのブリッジ機能を汎用回路化したもので、本実施形態ではＲＯＭ１４との間をブリッジしている。

ＲＯＭ１４は、ＣＰＵ６が本ＭＦＰ１００の制御を行う際のプログラム（含むブート）１７が格納されるメモリである。

操作表示装置１０は、本ＭＦＰ１００とユーザのインターフェースを行う部分で、ＬＣＤ（液晶表示装置）、タッチパネルとキースイッチから構成され、装置の各種状態や操作方法をＬＣＤに表示し、ユーザからのキースイッチ入力を検知する。本実施形態ではPCI−Expressバスを介してＣＰＵ６と接続する。

回線Ｉ／Ｆ装置１１は、PCI-Expressバスと電話回線を接続する装置で、この装置により本ＭＦＰ１００は電話回線を介して各種データのやり取りを行うことが可能になる。

ＦＡＸ１５は通常のファクシミリで、電話回線を介して本ＭＦＰ１００と画像データの授受を行う。

外部Ｉ／Ｆ装置１１Ａ、外部Ｉ／Ｆ装置１１Ｂは、PCI-Expressバスと外部装置を接続する装置で、この装置により本ＭＦＰ１００は外部装置と各種データのやり取りを行うことが可能になる。本実施形態では、その接続Ｉ／Ｆにネットワーク（イーサネット（登録商標））を使用する。すなわち本ＭＦＰ１００は外部Ｉ／Ｆ装置１１Ｂを介してネットワークに接続している。

外部Ｉ／Ｆ１１Ｂは、外部Ｉ／Ｆ装置１１Ａと同様にPCI-Expressバスと外部装置を接続する装置で、本実施形態ではその接続Ｉ／ＦにＵＳＢ(Universal Serial Bus) Ｉ/Fを使用する。

ＰＣ１６はいわゆるパーソナルコンピュータで、パーソナルコンピュータにインストールされたアプリケーションソフトやドライバを介して、ユーザは本ＭＦＰ１００に対して各種制御や画像データの入出力を行う。

〔ＭＦＰ１００の動作〕
以降、まず基本となる一般的なコピー動作処理（認識処理をしない場合）について説明し、その後に認識処理を行った場合の実施形態を、一般的なコピー動作処理との違いを中心にして説明する。

＜一般的なコピー動作＞
ユーザは、原稿を読取り装置１のＡＤＦ（Auto Document Feeder）やコンタクトガラスにセットし、操作表示装置１０から所望するモード（片面・両面印刷の選択、集約印刷の有無、濃度、倍率等）の設定を入力し、また、コピー開始の指示を入力する。

操作表示装置１０はユーザから入力されたモードの情報を、機器内部の制御コマンドデータに変換し発行する。発行された制御コマンドデータはPCI-Expressバスを介してＣＰＵ６に通知される。ＣＰＵ６は、コピー開始の制御コマンドデータに従って、コピー動作プロセスのプログラム（プログラム１７に含まれる。以下、両者を区別せず単にプログラム１７という）を実行し、コピー動作に必要な設定や動作を順に行っていく。
図２のフローチャート図と共に、以下に動作プロセスを順に記す。

（１）読取り装置１が原稿をスキャンして得られたＲＧＢ各８ビットのデジタル画像データは、画像データ処理装置２Ａにより予め定めた特性に統一され、バス制御装置３に送られる。
（２）バス制御装置３は、画像データ処理装置２ＡからのＲＧＢ画像データを受け取ると、ＣＰＵ６を介してメモリ７に蓄積する。
（３）次にメモリ７に蓄積されたＲＧＢ画像データは、ＣＰＵ６及びバス制御装置３を介して、画像データ処理装置２Ｂに送られる。
（４）画像データ処理装置２Ｂは受け取ったＲＧＢ画像データを、プロッタ出力用のＣＭＹＫ画像データに変換し出力する。
（５）バス制御装置３は画像データ処理装置２ＢからＣＭＹＫ画像データを受け取ると、ＣＰＵ６を介してメモリ７に蓄積する。
（６）次にメモリ７に蓄積されたＣＭＹＫ画像データは、ＣＰＵ６及びプロッタＩ／Ｆ装置８を介して、プロッタ装置９に送られる。
（７）プロッタ装置９は受け取ったＣＭＹＫ画像データを転写紙に出力し、原稿のコピーが生成される。

＜画像処理装置２Ａ、画像処理装置２Ｂの詳細＞
図３は、画像データ処理装置２Ａの処理ブロック図の一例を示す。

像域分離部３０は、読取り装置1から受け取ったデジタル画像データを1画素ごとに文字なのか絵柄(網点)なのかなどを判断し、その情報を後述のフィルタ処理などで利用する。

地肌除去処理部３１は、読取り装置1から受け取ったデジタル画像データの地肌部をラインごとに追従しながら算出し、適切な地肌値を除去する処理を行う。普通紙等の白い紙の原稿だけでなく、新聞紙や色紙など原稿の地肌を飛ばし、真っ白い原稿として出力することも可能にする効果がある。

γ変換部３２は、読取り装置１から受け取ったデジタル画像データの明るさを予め定めた特性に統一する。本実施形態では、γ変換部３２は、明度リニアな特性に変換するものとする。γ変換部３２は、主に、階調性の補正、グレーバランスの補正などを行う。

孤立点除去処理部３３は、画像データ中の孤立点を検出し、削除を行う。

フィルタ処理部３４は像域分離処理で得られた分離情報に応じ、デジタル画像データの文字部では鮮鋭性を向上させ、ＲＧＢ画像データの絵柄部(網点部)では平滑処理を行い、滑らかな階調性のＲＧＢ画像データに変換する。

色変換部３５は、ＲＧＢ画像データの色を予め定めた特性に統一する。本実施形態では、色空間がAdobe社で定義されるAdobe−RGBのような色空間になるように変換している。

変倍処理部３６は、デジタル画像データのサイズ（解像度）を予め定めた特性に統一する。本実施形態ではサイズ（解像度）を600dpiに変換した。

図４は、画像データ処理装置２Ｂの処理ブロック図の一例を示す。
フィルタ処理部５０は、ＲＧＢ画像データの鮮鋭性を、プロッタ装置９に出力する場合の再現性が良くなるように補正する。具体的には所望するモード情報に従って鮮鋭化/平滑化処理を施す。例えば文字モードでは文字をハッキリ/クッキリとするために鮮鋭化処理を施し、写真モードでは滑らかに階調性を表現するため平滑化処理を施す。

色変換部５１は、ＲＧＢ各８ビットのＲＧＢ画像データを受け取るとプロッタ装置用の色空間であるＣＭＹＫ各８ビットに変換する。このときにユーザが入力したモードの情報に従って彩度もあわせて調整する。

変倍処理部５２はＣＭＹＫ画像データのサイズ（解像度）を、プロッタ装置９の再現性能に従って変換を行う。本実施形態ではプロッタ９の性能が600dpi出力であるため、特に変換は行わない。

階調処理部５３では、ＣＭＹＫ各８ビットを受け取るとプロッタ装置９の階調処理能力に従った階調数変換処理を行う。本実施形態ではＣＭＹＫ各２ビットに疑似中間調処理の一つである誤差拡散法を用いて階調数変換した。

マスク処理部５４では、階調変換したＣＭＹＫデータに対して、画像データの端部領域（認識処理領域）のデータを白データで上書きする。すなわち、白の画素値「２５５」で置き換える。マスク領域は端部領域と同じ領域か、又は、マスク領域の一部が端部領域に相当する。本実施形態では両者を厳密には区別しない。

図５は、画像データの端部領域６１を模式的に説明する図の一例である。図５では、画像データの周囲を矩形に囲む斜線部が端部領域６１である。端部領域６１の画素数は、例えば５００画素等に予め定められているか、ユーザが指定できるようになっている。画像データ処理装置２Ａはこの端部領域６１にパンチ穴等の認識処理を施す。そして、マスク処理部５４が端部領域６１を白データで上書きする。

なお、パンチ穴・ステープル跡・バーコード・頁番号・認識処理領域上の文字、等を認識する認識処理のアルゴリズム自体は、本発明の特徴部ではないので、公知の技術を使用する。例えば、パンチ穴に関しては、特許文献1に開示されている。認識対象が変わっても、マスク処理の手順に影響はないので、以下では、パンチ穴・認識処理領域上の文字・頁番号の認識処理について説明する。

〔第1の実施形態〕
第1の実施形態では、デジタル画像データから、パンチ穴・認識処理領域上の文字・頁番号を検出しても生産性が低下しない画像処理について説明する。
図６は、本実施形態の画像処理を説明する図の一例である。読み取り対象となる原稿の端部領域６１には、パンチ穴６２、ステープル跡6４、頁番号６５、バーコード６３等が存在しうる。パンチ穴等が存在するのは斜線で示した端部領域６１の領域であることが多い。読み取り装置１から入力されるデジタル画像データの端部領域６１は、ほとんどがマスクする領域や地肌部領域であるため、ＭＦＰ１００は、フィルタ処理や色補正処理などの重い処理を行う必要がない。

図６では、端部領域６１を第２の処理領域、端部領域６１以外の中央部を第１の処理領域とした。第１の処理領域は後述の通常処理領域、第２の処理領域が後述の認識処理領域に対応する。

本実施形態のＭＦＰ１００は、ソフトウェアによる画像処理をＭＦＰ１００に実装する際、画像の端部領域６１には端部以外の領域（下記の通常処理領域）に施す高画質化のための画像処理を最低限しか行わないことで、処理時間を短縮し、その分パンチ穴等の検出に時間を費やすことを可能にする。パンチ穴はデジタル画像データの端部領域６１にしか存在しないため、端部領域６１でのみパンチ穴の検出を行ってもデジタル画像データの生産性は低下しない。

読取り装置１より1ラインずつデジタル画像データが決められた周期でＤＳＰなどの画像処理を実行するコアに入力される場合、その周期で毎ライン認識処理を完了させてしまえば、端部領域６１に認識処理を行っても全く時間のロスが無いことになる（ただし、認識に必要なライン遅延は除く。）。

ここで、画像の端部領域６１はあまり重い処理を行う必要がないといっても、単に全ての処理を行わないだけだと、特許文献２について指摘したように、高画質化処理を行った箇所と何も処理していない箇所で、使用者が違和感を感じる。このため、認識処理領域にも、最低限の画像処理を行い、端部領域６１とそれ以外とで画質差を小さくすることもできる。

また、ＭＦＰ１００は、通常処理領域に対し、認識処理に割り当てられた処理時間を差し引いて余った時間で可能な処理を施す。

一方、あまり画質に影響のない画像の端部領域６１を画像処理するのに使用していた消費電力を、認識処理に使用することで、通常の高画質化処理と認識処理を合わせて行う場合よりも省エネルギーとすることができる。

第1の実施形態では、操作表示装置１０から、複写時の条件として次のモードの情報が入力された場合を考える。
（ａ）自動濃度調整(地肌除去)ON
（ｂ）入力原稿：新聞紙
（ｃ）認識処理：パンチ穴
本実施形態と上記のコピー動作とが異なる点は、コピー動作の図２の（１）の画像データ処理装置２Ａによる処理内容であるので、（１）の動作を中心に記載する。それ以外は一部の説明を省略する。また、以降の実施形態ではコピー動作のみについて説明するが、スキャナ動作、蓄積動作、ＦＡＸ動作などでもパンチ穴を検出してマスクするという画像処理は共通である。したがって、本実施形態は適用するアプリケーションに限定されることはない。

＜本実施形態の（１）の処理＞
読取り装置１で原稿をスキャンして得られたＲＧＢ各８ビットのデジタル画像データは、画像データ処理装置２Ａ内のＤＳＰにより図３にて説明した各処理を施される。ＤＳＰはコア内部に数百個のプロセッサエレメント(PE)を有しており、１度にＰＥ数分の画素に対し画像処理を同時に行う（SIMD処理）。本実施形態では、ＰＥ数を５００として説明する。すなわち、デジタル画像データの５００画素に対し一度に並列演算を施すことが可能であるので、５００画素という数値を「１SIMD」画素と称することにする。

また、主走査の左端画素から５００個の画素の演算を1SIMD目の演算、次の５００個までの画素の演算を２SIMD目の演算、のように「SIMD目」という表現を使用する。例えば、主走査画素が１５００画素であれば、1ライン中に１SIMD目処理、２SIMD目処理、３SIMD目処理の３つの処理が存在する。

図７は、読取り装置１と画像データ処理装置２ＡとのＩ／Ｆを模式的に示す図の一例である。読取り装置１が読み取ったＲＧＢ各８ビットのデジタル画像データは、１ラインずつある一定の周期(以下、「ライン周期」と呼ぶ)で、画像データ処理装置２Ａに入力される。図７では、１ライン周期に５SIMD分のデジタル画像データが含まれている。１ライン中のデジタル画像データに対する画像処理は、ライン周期内に終了される。

画像データ処理装置２ＡのＤＳＰは、コア内部に数10〜数100ラインのラインデータ蓄積用内部メモリ（以下、単に「ラインデータ蓄積用メモリ」という）を持っている。図示するように、読取り装置１が出力した1ライン分のデジタル画像データは、ラインデータ蓄積用メモリの所定のアドレスに記憶され、次の1ライン分のデジタル画像データが入力されると、既に記憶されている１ライン分のデジタル画像データは別の（例えば、隣接した）アドレスにシフトして記憶される。

ＤＳＰのラインデータ蓄積用メモリには1フレーム（１デジタル画像データ）分の容量は用意されていないため、画像処理アルゴリズムに必要なライン数分が、最小限のラインデータ蓄積用メモリの容量になっている。このため、１ライン入力すると１ライン出力するというパイプライン構造になっている。

予め定められたライン遅延数分のデジタル画像データがラインデータ蓄積用メモリに蓄積されると、ＤＳＰがパイプライン処理により１ライン分のデジタル画像データに処理を施す。パイプライン処理では、ライン周期毎に１ライン分のデジタル画像データを処理するので、ライン遅延数分のデジタル画像データがラインデータ蓄積用メモリに蓄積されると、以降は１ライン分のデジタル画像データが入力されると、１ライン分のデジタル画像データが出力される。

図８は、ラインと画素の関係を模式的に説明する図の一例である。図８では、端部領域６１をデジタル画像データの外縁から５００画素とした。斜線の部分が認識処理領域であり、点線の矩形領域内が通常処理領域である。

図９は、画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例を示す。画像データ処理装置２Ａは、認識処理部７０としてパンチ穴認識部７１、文字認識部７２を有する。このような機能ブロック図はＤＳＰがプログラム１７を実行することで実現される。

本実施形態では、画像データ処理装置２Ａは、通常処理領域のデジタル画像データには、図３にて説明した処理の全てを施す。一方、画像データ処理装置２Ａは、認識処理領域のデジタル画像データには図３にて説明した処理のうち、必要最低限の処理しか施さない。こうすることで、認識処理(パンチ穴検出等)に費やす時間を確保する。

本実施形態では、主走査方向のデジタル画像データの画素数を５０００画素、認識処理領域を５００画素とする。５００画素は、ＤＳＰの1SIMD分の画素数である。図８に示したように、読取り装置１からライン周期で、1ライン分のデータがＤＳＰに入力されるので、ＤＳＰでは５００画素格納されるとコアにデータを移動し、ＤＳＰはコア内でSIMD処理を行い、SIMD処理が終わると再びラインメモリに格納する。１０SIMDあるので、ＤＳＰはSIMD処理を1ライン周期又は１ライン分のデジタル画像データに対し１０回行わなければならない。

なお、認識処理領域の大きさは、処理を行いやすいように、ＤＳＰのＰＥ数の倍数にしてもよいし、操作表示装置１０で認識処理領域を設定してもよい。前者の場合、１SIMDに、認識処理する画素としない画素が混在しないようにすることができるので、ＰＥによる制御を簡易化しやすい。後者の場合、ユーザがデジタル画像データのどの箇所は高画質化処理を行わないかを設定することできるので、利便性の向上にもつながる。図８では、周囲から５００画素が端部領域６１なので、ちょうど１SIMDと１０SIMDが認識処理の対象となる。

ここで、ＤＳＰが1ライン周期に１０回の処理を行えない場合は、デジタル画像データの入力が増えれば増えるほど、ＤＳＰの中のラインデータ蓄積用メモリ内のデジタル画像データが増大するので、フレームメモリがないとシステムが破綻しかねない状態になってしまう。

本実施形態では、ライン周期が300〔μSec〕、 ＤＳＰのコア周波数が３００〔Mhz〕の場合を想定する。１SIMD画素あたりで実行可能な命令ステップ数を算出すると、３００×３００÷１０=9000 step/SIMDとなる。厳密には読取り装置１からの転送クロックやコアへの転送時間なども考慮にいれないとならないが、ここでは省略する。

すなわち、1SIMD画素あたり9000step以内に処理が完了すれば、システム的にメモリ容量が足りないなどの問題は生じない。

図１０は、図３、図９に示した各画像処理のstep数の目安を示す図の一例である。高画質化処理として、像域分離、地肌除去処理、γ変換、孤立点除去処理、フィルタ処理、色変換、変倍処理が、認識処理として認識前処理（共通）、パンチ穴認識、文字認識、がそれぞれ挙げられている。なお、図１０のstep数はあくまで一例であり、step数の数値はＣＰＵ６が実装するアーキテクチャ等により変わりうる。

画像データ処理装置２Ａは、通常処理領域に全ての高画質化処理を施す一方、認識処理領域には高画質化処理の一部を施さないか又は全てを施さないようにして、認識処理の一部又は全てを施す。これにより、通常処理領域の画質を低下させることなくライン周期内に認識処理を施すことができる。すなわち、デジタル画像データから、パンチ穴・認識処理領域上の文字・頁番号を検出しても生産性が低下することがない。

以下、図１１のフローチャート図に基づき、図２の（１）の処理について、具体的にＤＳＰが1ライン分の画像データを処理する際の手順を説明する。
（１―１）画像データ処理装置２Ａは、読取り装置１よりライン先頭信号を受け取り、SIMD処理を行うために各々の変数をリセットする。また、ラインデータ蓄積用メモリに格納されているすでに図３の画像処理の完了した1ラインのデジタル画像データをバス制御装置３に送信開始する。
（１−２）ＤＳＰ内のラインデータ蓄積用メモリに、読み取り装置１からデジタル画像データが入力される（ライン遅延）。
（１−３）１度に並列演算可能な画素数である５００画素が入力されると、ＤＳＰがコア部へ転送する。ライン遅延されたデータはコア内のメモリ（不図示のライン状のメモリ）に蓄積されている。
（１−４）図８で説明したように、１SIMD目にふくまれる画素は端部領域６１の画素なので、画像データ処理装置２Ａのパンチ穴認識部７１はパンチ穴認識を行う。パンチ穴認識の処理は図１０から７０００（＝２０００＋５０００）stepかかる。生産性を低下させないためには、高画質化処理を７０００step低減しなければならない。前述したように端部領域６１では、地肌部やマスク領域となる箇所が多いため、像域分離や色補正などの処理を行う必要がないので、それらの処理を省いて７０００step分軽くする。最も簡単な実装方法は、パンチ穴認識を行う場合、図３の全ての処理（図１０の高画質化処理の全て）を行わないことである。すなわち、認識処理か高画質化処理を排他的に施す。図１０によれば、全ての高画質化処理の合計のstep数は９０００stepなので、パンチ穴認識の７０００stepを賄うことができる。

しかしながら、排他処理にすると認識処理領域のみ例えば新聞紙なら新聞紙の地肌が現れてしまい、ユーザは端部領域６１の地肌が異なることに違和感を感じるおそれがある。また、ユーザが所望していない地肌分のトナー消費が多くなるというデメリットもある。このため、認識処理領域では、高画質化処理と認識処理を完全に排他処理とするのでなく、各高画質化処理に優先順位又は必須の処理を定めておき、画像データ処理装置２Ａが最低限必要な処理を施すこととする。例えば、地肌除去処理の優先度を最も高くしておく、又は、必須の処理に設定しておく。そして、パンチ穴認識のstep数に対し、地肌処理のstep数を加えても、まだstep数に余裕があれば、別の高画質化処理を施すようにする。例えば、端部全面に平滑フィルタ（フィルタ処理の一部の処理）などの簡易的な処理を行って、モアレやノイズなどをできる限り抑制する。

図１０のstep数をもとにパンチ穴認識処理と共に実行可能な高画質化処理について検討する。図１２（ａ）は、パンチ穴認識処理と共に実行可能な高画質化処理の一例を示す。図１２（ａ）では、平滑フィルタのstep数を５００stepとした。高画質化処理の合計が９０００stepなので、パンチ穴認識処理の７０００stepを差し引くと２０００stepの余裕がある。図１２（ａ）では、この２０００stepを地肌除去処理（１０００step）、フィルタ処理（５００step）、変倍処理（５００step）に割り当てている。このように、パンチ穴認識処理を施しても、一部の優先順位の高い高画質化処理を選択的に施すことで、全体の処理負荷（step数）を９０００以下に又は一定に保つことができる。

ところで、地肌除去処理を通常処理領域にも施さないＭＦＰ１００やそのような設定となっていることがある。地肌除去処理が通常処理領域に施されないのであれば、認識処理領域に地肌処理領域を施さなくても、端部領域６１にだけ地肌色が残ることがないので、ユーザが違和感を感じることもない。しかしながら、端部領域６１に何も処理を施さないとグレーバランスが崩れる可能性がある。このため、地肌除去処理を施さない場合、グレーバランスを補正するガンマ処理は必須の処理とする必要がある。

また、地肌を飛ばさないと（地肌除去処理を施さないと）、読取り装置１の読み取り値のバラつきやノイズなどによって、端部領域６１の判読性が悪化していることが考えられる。このため、平滑フィルタを施すことも必須の処理とすることが好ましい。このように、通常処理領域に施される高画質化処理に応じて、認識処理領域に施す処理の優先順位を設定する。この場合も、９０００stepを超えないようにする。

図１２（ｂ）は、地肌除去処理を施さない場合に、パンチ穴認識処理と共に実行可能な高画質化処理の一例を示す。画像データ処理装置２Ａは、地肌除去処理の変わりにγ変換を行う。また、画像データ処理装置２Ａは、フィルタ処理、変倍処理を行う。この結果、step数の合計は、８５００stepとなっているので、全体の処理負荷（step数）は９０００以下に保たれている。

また、図１２（ａ）（ｂ）以外にも、インクジェットプリンタで出力するためにデジタル画像データに処理を施す場合、専用の高画質化処理を認識処理領域に施すことが好ましい。インクジェットプリンタでは、画像の両端又は片方に孤立点などがあるとヘッドが左右に大きく動作することになるため、印刷時間が長くなってしまう。そこで、インクジェットプリンタの印刷時間を短縮するため、孤立点除去を必須の処理とする。また、例えば、ＤＦ（Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）により原稿を読み取ると、コンタクトガラスにゴミ等がある場合に、縦スジのあるデジタル画像データが生成されることがある。縦スジは、インクジェットプリンタでも電子写真プロセスを用いたプリンタでも画質の低下となるが、特にインクジェットプリンタでは印刷時間の増加をもたらす。このため、縦スジを検出し補正する処理を優先的に行うことも有効である。

画像データ処理装置２Ａが、認識処理領域からパンチ穴を検出した場合、ＤＳＰが直接補正処理を行ってもよいし、ＤＳＰはパンチ穴の位置情報をＣＰＵ６に伝え、ＣＰＵ６が補正処理を行ってもよい。また、マスク処理に含めてもよい。

図１１に戻り、
（１−５）ＤＳＰによる処理が終了すると、ＤＳＰでSIMD処理を施したコア内のメモリに格納された中で最も古い画像データ(例：50ライン遅延であれば、50ライン前のデータ)を500画素、コア→ラインデータ蓄積用メモリに転送する。そして、ラインデータ蓄積用メモリから注目ラインのデータをコア内のメモリに蓄積する。

また、コア→ラインデータ蓄積用メモリの転送と同時に、新たにラインデータ蓄積用メモリに入力された２SIMD目のデジタル画像データもＤＳＰのコアに転送する。
（１−６）２SIMD目〜９ＳＩＭＤ目は認識処理領域でないので、画像データ処理装置２Ａは図３に示した全ての処理を施す。また、（１−５）と同じように、画像データ処理装置２Ａは、コア→ラインデータ蓄積用メモリ、ラインデータ蓄積用メモリ→コア、にデジタル画像データを転送する。
（１−７） １０SIMD目のデジタル画像データをラインデータ蓄積用メモリ→コアに転送すると、ＤＳＰは認識処理領域のデジタル画像データに対し（１−４）と同じ処理を施す。（１−５）と同じように、ＤＳＰは、処理済のデジタル画像データをコア→ラインデータ蓄積用メモリに転送する。

このように、ＤＳＰで処理を行うと、ライン遅延分のデジタル画像データが入力された後は、パイプライン処理のように1ライン入力されるたびに1ライン出力される。このようにＤＳＰより出力された画像データは、1ラインずつバス制御装置３に送られる。

画像データ処理装置２Ａの後の処理は、コピー動作にて説明した図２の（２）〜（７）の手順と同様である。なお、パンチ穴認識を画像データ処理装置２Ａで行い、パンチ穴等の補正処理はＣＰＵ６で行う場合、メモリ７に蓄積されたＲＧＢ画像データが、ＣＰＵ６及びバス制御装置３を介して、画像データ処理装置２Ｂに送られる際、ＣＰＵ６がパンチ穴の補正処理を行う。ＣＰＵ６は、ＲＧＢ画像データを画像データ処理装置２Ｂに転送する。

以上、説明したように、本実施形態のＭＦＰ（画像処理装置）１００は、ＤＳＰのようにライン周期で画像処理する場合でも、認識処理領域に対する認識処理のステップ数を通常処理領域以下にすることができる。したがって、生産性を低下させることなく、認識処理領域に認識処理を施すことができる。

〔第２の実施形態〕
認識処理の対象物（パンチ穴認識、文字認識等）に応じて必要最低限の高画質化処理が異なる。本実施形態では、認識の対象物に応じて適切な高画質化の処理を行うことで、認識処理を効率的に行うＭＦＰ１００について説明する。これにより、端部領域６１とそれ以外の領域との画質差を効率的に補正することも可能となる。

図１３は、パンチ穴の画素を模式的に示す図の一例である。パンチ穴は穴の内側がやや暗いので、パンチ穴認識の処理では、図１３のようにある閾値を下回った連結黒画素を抽出する。そして、画像データ処理装置２Ａは、連結黒画素の面積や形状からパンチ穴か否かを判定する。このようにパンチ穴認識では、面積や形状から判定可能なので、あまり高画質化処理を行う必要はない。

一方、頁番号認識では、文字に外接する矩形領域を候補として抽出して、矩形領域に抽出した後に辞書データと比較する必要がある。辞書との整合率を上げるため、孤立点除去やエッジ強調処理などの処理を行う必要がある。このように、認識処理の対象物（パンチ穴認識、文字認識等）に応じて必要最低限の高画質化処理が異なる。

第２の実施形態では、複写時の条件として次のモードの情報が入力された場合を考える。
（ａ）自動濃度調整(地肌除去)ON
（ｂ）入力原稿：集約印刷された文字原稿(例：図１４)
（ｃ）認識処理：パンチ穴、文字(マスク領域にかかっているもの)
（ｄ）認識処理領域：操作表示装置１０より選択可能
ユーザは、原稿を読取り装置１のＡＤＦ（Auto Document Feeder）やコンタクトガラスにセットし、操作表示装置１０から所望するモードの設定を入力し、また、コピー開始の指示を入力する。

その際、ユーザは、認識処理を行う対象物(頁番号・パンチ穴・文字(マスク領域にかかっているかどうかを含む))を選択してもよいし、管理者が事前に何を認識すべきか選択しておいてもよい。

さらに、以下のように画質モードと連動させて認識処理を行う対象物を選択可能としても良い。例えば、文字モードの場合はパンチ穴／ステープル跡、頁番号などの認識が必要であるが、写真モードではパンチ穴/ステープル跡、頁番号などの認識の必要がなく、全面高画質化の処理を行った方がよい。ＭＦＰ１００は、複写時の画質モードに応じて、選択可能な認識処理の対象物を操作表示装置１０に表示する。

また、本実施形態では、ユーザが認識処理領域を選択可能であるとする。
図１５は、本実施形態の、画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例を示す。図１５において図９と同一部には同一の符号を付しその説明は省略する。本実施形態では、ＣＰＵ６が特定領域受け付け部７４を有する。特定領域受け付け部７４は図１６のような画面を操作表示装置１０に表示し、ユーザによる認識処理領域の選択結果を受け付ける。

また、文字再配置部７３は、ＣＰＵ６又は画像データ処理装置２Ｂにより実現され、認識処理領域の文字周辺のマスク処理を行う前に、文字を移動して、文字が消えてしまうのを防止する。

図１６は、操作表示装置１０に表示された認識処理領域の選択画面の一例を示す図である。主走査方向は、コンタクトガラスに対し一定であるので、ユーザは原稿の載置方向に応じて、図１６のような横向きの選択画面と、縦向きの選択画面を選択できるようになっている。

図１６では、５つの候補領域が選択可能に表示されている。例えば、「I」の候補領域はパンチ穴の認識処理領域である。「II」の候補領域は文字（マスク領域）の認識処理領域である。「III」の候補領域は頁番号＋文字（マスク領域）の認識処理領域である。「IV」の候補領域は文字（マスク領域）＋パンチ穴認識領域である。「V」の候補領域は文字（マスク領域）＋パンチ穴＋頁番号の認識領域である。

II〜Vについては、端部領域６１を認識処理領域に一致させる場合である。これら端部領域６１のうち、ユーザはパンチ穴、頁番号、文字のある箇所を選択できる。また、「I」の候補領域は、端部領域６１ではない。しかし、図１４に示したように、デジタル画像データのセンターにパンチ穴が存在する場合があるので、「I」の候補領域を選択可能とすることで、ユーザの利便性を向上させることができる。

このような端部の位置情報により、パンチ穴・ステープル跡・バーコード・頁番号などの何を認識すべきなのか推定可能となり、それに応じて適宜処理を切り替えることで処理時間を短縮することが可能となる。また、認識位置が、原稿の中央部なのか、周辺部なのか、周辺部と中央部にまたがっているのかなどによって、画質差を補正する(高画質化)処理を適宜、SIMDに組み込むことも可能となる。

操作表示装置１０はユーザから入力された認識処理領域の情報を、機器内部の制御コマンドデータに変換し発行する。発行された制御コマンドデータはPCI-Expressバスを介してＣＰＵ６に通知される。本実施形態では、「ＩＶ」と「Ｉ」の候補領域が選択されたものとする。

ＣＰＵ６はコピー開始の制御コマンドデータに従って、コピー動作プロセスのプログラム１７を実行し、コピー動作に必要な設定や動作を順に行っていく。以下、実施形態１と異なる点を中心に説明する。

＜本実施形態の（１）の処理＞
画像データ処理装置２Ａ内のＤＳＰは、ＣＰＵ６の特定領域受け付け部７４より操作表示装置１０で設定された認識処理領域や認識処理内容のデータを受信し、画像データの領域ごとに処理を切り替えるように動作する。

読取り装置１で原稿をスキャンして得られたＲＧＢ各８ビットのデジタル画像データは、画像データ処理装置２Ａ内のＤＳＰにより、図３の処理や認識処理を行う。

図１７は、デジタル画像データとSIMDの関係を模式的に説明する図の一例である。図１７では、主走査方向の画素数を７０００画素として、左側の500画素及び右側の500画素をパンチ穴/文字認識領域、センターの1000画素をパンチ穴認識領域、それ以外を通常処理領域（認識処理領域外）とする。また、マスク領域が左右の端から500画素以内に存在するものとし、画像データ処理装置２Ｂ又はＣＰＵ６によりマスク処理が行われるものとする。

したがって、図１７の設定では、ＤＳＰの認識処理部７０は、１SIMDのデジタル画像データにはＩＶの「文字（マスク領域）＋パンチ穴認識」を施し、２〜６SIMD目のデジタル画像データには図３の高画質化処理を施し、７，８SIMD目のデジタル画像データにはＩの「パンチ穴認識」を施し、９〜１３SIMD目のデジタル画像データには図３の高画質化処理を施し、１４SIMD目のデジタル画像データにはＩＶの「文字（マスク領域）＋パンチ穴認識」を施す。ただし、デジタル画像データの上端部・下端部（図１６のIII、Ｖ、III）には、認識処理は施されない。 基本的なＤＳＰの動作は第１の実施形態の（1)〜（７)と同様である。

ここで、選択された１つの領域で複数の認識処理を実行する場合の手順について説明する。例えば、１SIMD目や１４SIMD目のパンチ穴と文字の両方を検出する領域の場合である。

図１８は、パンチ穴認識と文字の認識の両方を検出する手順を示すフローチャート図の一例である。ＤＳＰのパンチ穴認識部７１は、まず、Ｇ信号(もしくはＲＧＢ信号より輝度信号などを求めて利用してもよい)に対して、二値化処理を施し(Ｓ１０１)、次いで、黒画素連結処理（Ｓ１０２）を施す。

その後、ＤＳＰのパンチ穴認識部７１は、黒画素連結データに対して、パンチ穴の存在する位置の画素か否かを判定する（Ｓ１０３）。この判定には、図１６のように操作表示装置１０からユーザが設定した情報を用いる。また、パンチ穴が存在しうる場所は、原稿サイズさえわかれば、特定できる情報であるので、事前にＭＦＰ１００に設定しておいてもよい。

処理対象のデジタル画像データがパンチ穴の存在する位置の画素である場合（Ｓ１０３のＹｅｓ）、すなわち１SIMD目又は１４SIMD目のデジタル画像データの場合、パンチ穴認識部７１は黒画素連結データの面積と形状からパンチ穴候補か否かを判定する（Ｓ１０４）。パンチ穴認識部７１は、例えば、黒画素連結データの面積が所定値以上か、形状が円形に近いか（縦横の長さの差が所定値内か）等から、パンチ穴候補か否かを判定する。

パンチ穴候補の場合（Ｓ１０４のＹｅｓ）、パンチ穴認識部７１はさらに詳細にパンチ穴か否かを判定する。図１９は、パンチ穴か否かの判定方法を説明する図の一例である。パンチ穴認識部７１は黒画素連結の外接矩形を生成する。そして、矩形の角のマスの白画素の割合などから、パンチ穴認識部７１はパンチ穴かどうかを高精度に判定する。

図１８に戻り、一方、黒画素連結がパンチ穴候補でない場合（Ｓ１０４のＮｏ）、文字認識部７２は黒画素連結が認識処理領域と通常処理領域の境界上にあるか否かを判定する（Ｓ１０５）。認識処理領域と通常処理領域の境界上にある黒画素連結は認識すべき文字データ候補の可能性があるためである。

黒画素連結が認識処理領域と通常処理領域の境界上にある場合（Ｓ１０５のＹｅｓ）、文字認識部７２は黒画素連結の面積があらかじめ設定された範囲に入るか否かを判定する（Ｓ１０６）。予め設定された範囲に入る場合（Ｓ１０６のＹｅｓ）、文字の可能性があるので、認識すべき文字データ候補に決定する。この場合、文字認識部７２は、辞書データと整合を行うなどの詳細な認識処理を行う。

なお、黒画素連結が認識処理領域と通常処理領域の境界上にない場合（Ｓ１０５のＮｏ）、認識すべき文字データ候補でないので、文字認識部７２はノイズと扱う。また、黒画素連結の面積があらかじめ設定された範囲に入らない場合（Ｓ１０６のＮｏ）、認識すべき文字データ候補でないので、文字認識部７２はノイズと扱う。

画像データ処理装置２Ａは、パンチ穴の補正処理を施してもよいし、ＣＰＵ６にパンチ穴の位置情報を通知し、ＣＰＵ６がパンチ穴の補正処理を行ってもよい。

また、文字候補が検出された場合の処理について説明する。
マスク領域に文字が存在する場合には、（３）の処理でＣＰＵ６が、又は、（４）の処理で画像データ処理装置２Ｂが、その文字周辺のマスク処理を行うのをやめて、文字が消えてしまうのを防止する。または、文字再配置部７３が、マスク領域に存在していた一連の文字データ群を通常処理領域に寄せるように移動させる。この後はマスク領域にマスク処理しても文字が消えることを防止できる。
図２０（ａ）〜（ｃ）は、文字の再配置を説明するための図の一例を示す。ステップＳ１０６で文字候補であると判定された黒画素連結について、文字認識部７２は、辞書データと整合を行うなどして詳細な認識処理を行う。この結果、マスク領域に文字が印刷されていることが検出される。

図２０（ａ）に示すように、マスク領域に文字が印刷されている場合に、画像データ処理装置２Ｂがマスク処理を施すと、一連の文字の一部が切れてしまう。

そこで、文字認識部７２は図２０（ｂ）に示すように、一連の文字データ群を特定する。例えば、文字認識部７２は１つの文字から所定範囲の文字を次々と抽出して一連の文字データ群を特定する。そして、文字認識部７２は一連の文字データ群の外接矩形を生成し、重心位置(X,Y)と文字データ群のサイズ(x,y)をＤＳＰ内のデータＲＡＭに保持する。そして、ＤＳＰにおいてデジタル画像データの処理が終了すると、ＣＰＵ６の文字再配置部７３がＤＳＰ内のデータＲＡＭに重心位置(X,Y)と文字データ群のサイズ(x,y)を読みに行く。

そして、文字再配置部７３は、図２０（ｃ）に示すように、通常処理領域における外接矩形の頂点を固定して（上下のいずれか一方でよい）、マスク領域側の外接矩形の頂点が通常処理領域に入るように縮小処理を行う。こうすることで、マスク領域に存在していた一連の文字データ群を通常処理領域に寄せるように移動することができる。すなわち、マスク領域に文字がかかることを防止できる。
なお、前述したようにマスク領域に文字が存在する場合、文字が欠けてしまうのを回避させる方法の１つとして、マスク領域、マスク領域の文字又は文字を含むその周囲だけ、マスク処理を施さない方法がある。もともとは、マスク領域には読取り装置１から入力されるデジタル画像データを出力することがないため、ほとんど画像処理を行わないでもかまわなかった。しかし、マスク領域が出力されるのであれば、マスク処理を施さないで画像が出力されないよう、ある程度の高画質化処理をしっかりと行う必要がある。

この高画質化処理をＤＳＰで行う場合には、後述するように１ライン分のstep数から余っているstep数を(135,000-131,000=4000step)を利用して、ＤＳＰがフィルタ処理や地肌処理などを行う。また、ＣＰＵ６がマスク領域の情報を画像データ処理装置２Ｂに送信することで、上記（４）で画像データ処理装置２Ｂがマスク処理を施すことも可能となる。

このように、デジタル画像データの場所(パンチ穴の位置orマスク領域の境界上など)や面積・形状などによって、あらかじめ認識対象物を推定(判断)することで、適宜認識処理を行い、処理時間を削減することが可能となる。

また、認識処理以外に行う高画質化処理は、少しでも辞書データとの整合率を高めるために、step数が間に合う限り、ＤＳＰが、優先順位に従い、孤立点除去・エッジ強調フィルタ・分離処理等の処理を施す。

一方、７SIMD目,８SIMD目の場合は、パンチ穴認識の認識処理しか行わないため、文字認識も行う端部（1SIMD目及び14SIMD目）と比べ、step数に余裕がある。そこで、文字認識の処理の代わりに高画質化のための画像処理を行う。また、パンチ穴認識の場合、文字や頁番号認識などのように辞書データと照らし合わせたりする必要がなく、黒画素の有無を算出するのみなので、軽微な処理とすることができる。すなわち、図１０にて説明したように７０００step未満のstep数で処理できる可能性があるので、その分を含め、文字認識しない分を高画質化処理に割り振る。

図２１は、７SIMD目,８SIMD目の認識処理のフローチャート図の一例を示す。図２１と図１８を比較すると明らかなように、７SIMD目,８SIMD目の認識処理は、１、１４SIMD目の処理に対し、文字認識を行わないフローチャート図となっている。

図１４に示したように、原稿を集約原稿としたため、７SIMD目,８SIMD目の中央部のほとんどは白画素と考えられる。すなわち、センター部にはあまり文字や絵柄などがないとして考えられる。

しかし、原稿の種類によっては、センターに絵柄や文字がある場合も多いので（例えば、余白なしに写真などの画像データを印刷した場合）、地肌部やマスク領域が多い端部領域６１よりもセンターの方に高画質化処理を多く行うことが好適となる。
以上がＭＦＰ１００におけるＤＳＰの画像処理である。第１の実施形態では、１SIMD当たりの処理のstep数が足りるように、認識処理以外の高画質化処理を行った。第２の実施形態においても、ライン周期に間に合えば問題ない。

例えば、ライン周期:450μsec、コア周波数:300MHzとすると、1ライン中に、450x300=135,000 step/line の処理が可能である。１４SIMDで割ると、1SIMD辺りでは約9640step/SIMDの処理が可能であることが分かる。

図２２は、認識処理に応じて割り当てたstep数の一例を示す図である。前述のように１、１４SIMD目の認識処理のstep数>７、８SIMD目の認識処理のstep数となるようにした。図２２に示すように、１、１４SIMD目の認識処理のstep数は１３０００step、７、８SIMD目の認識処理のstep数は６０００stepである。それぞれのSIMDに、認識処理に応じて高画質化処理を割り当てることができる。そして、１ライン分（１〜１４SIMD）のトータルのstep数を１３５０００step内に抑えればよいことがわかる。

図２３は、各々のSIMDでの処理内容を登録したテーブルの一例である。1,14SIMDの処理は、認識処理のための９０００step（文字認識処理だけで計算）に加え、高画質化処理を加えたため、２６０００stepとなっている。また、７、８SIMD目の処理は、認識処理のためのstep数は６０００stepに加え、高画質化処理を加えたため１５０００stepとなっている。なお、７，８SIMDのフィルタ処理は、１，１４SIMDのフィルタ処理よりも軽い処理となっている（１，１４SIMDのフィルタ処理はエッジ強調を含む）。

１，１４SIMDも７，８SIMDも、step数を1SIMD当たりに直すと、step数が９６４０を超えている。しかし、２〜６SIMD及び９〜１３SIMDの合計のstep数を９００００step（１SIMD当たり９００００step）としたため、1ラインの合計step数が１３１，０００となっている。総ステップ数が１３５，０００stepであるため、１〜１４SIMDを１ライン周期内に処理可能である。

また、1ラインの合計のstep数が１３５，０００を超えてしまう場合、認識処理を行うラインについては、２〜６SIMD目・９〜１３SIMD目の通常処理のうち、最も画質に影響の無い孤立点除去などの処理を省いてしまってよい。画質への影響を最小限にして１ラインの合計のstep数が１３５,０００以下にすることができる。

すなわち、ユーザが処理負荷の大きい認識処理を優先的に行いたい場合は、画像全体の高画質化処理の一部を省くことにより、生産性を落とすことなく認識処理を実現することが可能となる。

以上説明したように、本実施形態のＭＦＰ１００は、認識の対象物に応じて、認識処理領域に適切な高画質化の処理を行うことで、生産性を落とすことなく認識処理と高画質化処理を効率的に行うことができる。

〔第３の実施形態〕
本実施形態では、原稿の態様に応じて、認識処理及び高画質化処理を適宜切り替えることができるＭＦＰ１００について説明する。

第３の実施形態では、複写時の条件として次のモードの情報が入力された場合を考える。
（ａ）自動濃度調整(地肌除去)ON
（ｂ）入力原稿：雑誌（本）
（ｃ）認識処理：パンチ穴、マスク領域の文字認識
（ｄ）認識処理領域：操作表示装置１０より選択可能
第２の実施形態の図１７にて説明したデジタル画像データが、画像データ処理装置２Ａに入力されるものとして説明する。また、各SIMDとstep数の関係は図２４の通りであるとする。

図２５は、具体的にＤＳＰが1ライン分の画像データを処理する際の手順を説明するフローチャート図の一例である。
第２の実施形態との違いは、読み取る原稿が雑誌である点である。原稿が雑誌であると、本の中央部でコンタクトガラスから原稿までの距離が生じて、頁と頁の間のセンター部に陰が現れてしまうことがある。この陰を低減する手順について説明する。

なお、ＭＦＰ１００は原稿の種別を知らないので、ユーザが予め操作表示装置１０などにより、入力原稿が雑誌や本であることを通知してもよいし、ＭＦＰ１００が画像データの地肌の変化具合により、入力原稿が雑誌や本であることを自動的に検知してもよい。

以下、第２の実施形態との違いを中心に説明する。
（１−１）〜（１−３）実施形態１と同様である。
（１−４）1SIMD目の処理は第２の実施形態と同様である。
（１−５）実施形態1と同様である。
（１−６）２〜５SIMD目の処理までは図３の高画質化処理と（１−５）を繰り返す。

しかし、２〜５SIMD目までの処理はstep数を低減するため、図３の処理から孤立点除去（１０００step）を省く。これは、後述する6〜9SIMD目間での処理のstep数が第２の実施形態よりも増加しているためである。すなわち、ＤＳＰが２〜５SIMD目において図３の処理全てを行うとライン周期に処理が収まらなくなってしまう。そのため、画質に影響の少ない孤立点除去を省略する。
（１−７）６SIMD目の処理を行う。その後（１−５）の処理を施す。

そして、７SIMD目・８SIMD目の処理を行う際に、本のセンター部に陰が現れるため、７SIMD,８SIMD目は認識処理を行うために、地肌処理において地肌をかなり強く飛ばす（画素値を大きく修正する）必要がある。

図２６（ａ）は本を読み取って入力される入力画像データの一例を示す図である。本のセンター部に暗い陰が生じている。そのため、センターでのみ地肌を強く飛ばし、センター以外であまり地肌を飛ばさないような処理を行うと図２６（ｂ）のように６SIMD目と７SIMD目のつなぎ目で地肌の違いが大きくでてしまう。このような理由から、なるべくセンター部と通常処理領域の境界上に画質差が出ないように境界の6SIMD目,9SIMD目で画質差補正処理を行う。

具体的な処理としては、地肌除去のパラメータを変更して、地肌を２〜５SIMD目よりも多少大きく飛ばすように補正し、平滑フィルタを通常のフィルタ処理よりも大きく設定して、6SIMD目と7SIMD目のつなぎ目を目立たないようにさせる。

このような処理を６SIMDに含めたため、図２４に示すように、パラメータの変更なども含め、1000stepほど6SIMD目の処理は増加する。

６SIMD目の処理が完了するとＤＳＰはコア内のメモリにいったん格納し、ラインデータ蓄積用メモリに格納されている７SIMD目のデータとの交換転送を行う。
（１−８）７SIMD目、８SIMD目の処理を行う。その後（１−５）の処理を施す。

７SIMD目,８SIMD目のセンターの処理について、認識処理自体は図１２（ｂ）の処理と同じであるが、高画質化処理が異なる。前述したようにセンター部では陰で全体的に暗い画像になってしまうため、認識処理を行うためには地肌を大きく飛ばし、ガンマ処理でダイナミックレンジを広げる必要がある。また、前述した通り6SIMD目との境界が目立つ可能性があるため、認識処理を行った後に平滑フィルタを施し、地肌部を目立ちにくくさせる。

このような処理にstep数が消費されるため、図２４に示すようにパラメータ変更なども含めて７SIMD目と８SIMD目は1500step増加するものとする。

ＤＳＰは、処理が完了するとコア内のメモリに格納し、ラインデータ蓄積用メモリに格納されている８SIMD目のデータとの交換転送を行う。

以降、８SIMD目の処理は７SIMD目の処理と同様である。９SIMD目の処理は６SIMD目の処理と同様である。１０〜１３SIMD目の処理は、２〜５ＳＩＭＤ目の処理と同様であり、１４SIMD目以降の処理は第２の実施形態と全く同様となる。

以上、説明したように、本実施形態のＭＦＰ１００は、原稿の態様に応じて、認識処理及び高画質化処理を適宜切り替えることができる。

〔第４の実施形態〕
本実施形態では、認識処理により頁番号やバーコード等を認識し、認識結果をユーザに通知するＭＦＰ１００について説明する。以下、第２の実施形態との違いを中心に説明する。

第３の実施形態では、複写時の条件として次のモードの情報が入力された場合を考える。
（ａ）自動濃度調整(地肌除去)ON
（ｂ）入力原稿：文字原稿
（ｃ）認識処理：頁番号
（ｄ）認識処理領域：操作表示装置１０より選択可能
第２の実施形態の場合と同様に、操作表示装置１０よりユーザ又は管理者が原稿の種類ごとに認識処理領域・対象物を設定可能とする。

図２７は、画像データ処理装置２ＡのＤＳＰにより実現される認識処理の機能ブロック図の一例を示す。認識処理ＯＮ／ＯＦＦ受付部7５は、操作表示装置１０が取得したユーザからの認識処理を行うか否かの設定を受け付ける。また、認識処理結果通知部７６は、頁番号の認識結果を操作表示装置１０を介してユーザに通知する。

図２８は、操作表示装置１０に表示される、頁番号の認識処理を施す領域の選択画面の一例を示す図である。図２８では、副走査方向の上端部と下端部が選択可能になっている。ユーザは、操作表示装置１０から上端部８１又は下端部８２の少なくとも一方を選択することができる。

また、利便性に配慮して、管理者やユーザが、画質モードなどによって、認識処理のOn/Offを操作表示装置１０より設定する。本実施形態では、認識処理を行う場合を記載するので、認識処理はＯＮに設定されているものとする。なお、認識処理がOFFに設定されている場合の動作は、通常のコピー動作となる。
図２９は、コピー動作プロセスの手順を示すフローチャート図の一例を示す。
（１）まず、ＣＰＵ６の認識処理ＯＮ／ＯＦＦ受付部7５は、操作表示装置１０より得られた認識処理ON／OFFの情報をＤＳＰのデータＲＡＭの特定のアドレス番地に書き込む。ＤＳＰはデータＲＡＭのアドレス番地から認識処理ON／OFFの情報を読み出すことで認識処理をすべきか否かを判定し、処理を切り替える。本実施形態ではＤＳＰが認識処理を行うプログラム１７を実行する。

第１の実施形態では主走査方向の左右端部のみ認識処理を行い、それ以外は通常の高画質化処理を行っている場合を説明したが、本実施形態では図２８のように1ライン中全てのSIMDで認識処理+最低限の高画質化処理を行うことになる。

このため、第１の実施形態の9000step／SIMDの制約があると仮定した場合、頁番号の認識処理では1つのSIMDの処理で9000step/SIMDを超えないようにする必要がある。これ以外の基本的な動作は第１〜第３の実施形態と同様である。

また、頁番号の認識の場合、頁番号が全ての原稿で同じ箇所にある場合が多いので、1枚の原稿で頁認識を行うと、ＤＳＰがその位置をＤＳＰ内部のデータＲＡＭに格納しておき、その位置付近でなければ頁番号の候補としないように処理をすれば、より多くのstep数を稼ぐことができる。

なお、頁番号は公知のＯＣＲ（Optical Character Reader）処理により検出される。また、頁番号でなく、バーコードやＱＲコードのような２次元バーコードの認識処理を施してもよい。

例えば、DFより複数枚の原稿を入力する場合、1枚目の原稿で６SIMD目に頁番号を認識した場合は、ＤＳＰは、マージンを見て５SIMD〜７SIMDを頁番号候補のSIMDとしてデータＲＡＭに記憶する。こうすることにより、次の原稿から、ＤＳＰは５SIMD〜７SIMD以外では認識処理を行わないという処理が可能となる(ただし、頁番号を利用した上下さかさま防止などは出来なくなる。)。

文字認識部７２は、頁番号を認識するとその頁番号情報の位置及び数値をＤＳＰのデータＲＡＭに格納する。画像データ処理装置２Ａが、バス制御装置３にＲＧＢ画像データの送信が完了すると、ＣＰＵ６の認識処理結果通知部７６はＤＳＰのデータＲＡＭにアクセスし、頁番号・頁位置の情報をリードする。
（２） バス制御装置３は、画像データ処理装置２ＡからのＲＧＢ画像データを受け取ると、ＣＰＵ６を介してメモリ７に蓄積する。また、認識処理結果通知部７６が読み出した頁番号が前の頁との連番になっているか、前頁の頁位置と比較して極端に変な位置になっていないかを確認する。ここで、連番になっていない場合は、頁欠落の可能性があるため、認識処理結果通知部７６は操作表示装置１０に連番になっていない旨を通知する。また、前頁との比較により、頁位置が異なっている場合は入力原稿が上下逆さまである可能性があるので、その旨を操作表示装置１０に通知する。

このような通知を受けた操作表示装置１０は、ユーザに注意喚起するためのメッセージを表示する。図３０は、頁欠落の可能性をユーザに通知するための画面の一例を示す図である。図３０には、頁番号と欠落の可能性を知らせるメッセージが表示されている。また、「正常」ボタンと「ＮＧ」ボタンが表示されている。

ユーザが頁欠落や上下逆さまであることに気付くと、「ＮＧ」ボタンを押すことで、ＭＦＰ１００は全ての動作を止める。これにより、もう一度最初からスキャン開始を始められるような状態にリセットされる。ユーザは、頁欠落していた頁を正しい位置にセットしなおしてもう一度スキャンをしなおすことで頁番号欠落や上下逆さまの問題は解決される。
（３）〜（７）の処理は第１の実施形態と同じなので説明を省略する。

以上説明したように、本実施形態のＭＦＰ１００は、頁番号などの認識結果をユーザに通知することで、複写をやり直す等の利便性を向上することができる。

１ 読取り装置
２Ａ、２Ｂ 画像データ処理装置
３ バス制御装置
５ ＨＤＤ
６ ＣＰＵ
７ メモリ
８ プロッタＩ／Ｆ装置
９ プロッタ装置
１０ 操作表示装置
１１Ａ 回線Ｉ／Ｆ装置
１１Ｂ 外部Ｉ／Ｆ装置
１３ Ｓ．Ｂ．
１４ ＲＯＭ
１５ ＦＡＸ
１６ ＰＣ
１７ プログラム
１８ 記憶媒体
１００ ＭＦＰ

特開２００４−０８０３４１号公報 特開２０００−０９９７０４号公報

Claims (15)

1. 画像データを入力する画像入力手段と、
   画像データの所定画素毎に予め定められた所定のサイクル時間ずつ画像処理を施す画像処理手段と、を有する画像処理装置であって、
   画像データの少なくとも一部に複数の処理要素からなる第１の画像処理を施す第１の画像処理手段と、
   特定領域の画像データに第２の画像処理を施す第２の画像処理手段と、を有し、
   前記第２の画像処理手段が、前記特定領域の画像データに前記第２の画像処理を施すと共に、
   前記第１の画像処理手段が、前記特定領域の画像データに、前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクル時間を超えない範囲で、一以上の前記処理を施す、
   ことを特徴とする画像処理装置。
2. 前記第１の画像処理は、画像データの画質を向上させる画質向上処理であり、
   前記第２の画像処理は、前記特定領域から認識対象物を認識する認識処理である、
   ことを特徴とする請求項１項記載の画像処理装置。
3. 前記第２の画像処理手段は、認識対象物を特定する情報に応じて、前記特定領域の画素に施す前記第２の画像処理を切り替え、
   前記第１の画像処理手段は、前記認識対象物を特定する情報に応じて、前記特定領域の画素に施す前記処理を切り替える、
   ことを特徴する請求項２に記載の画像処理装置。
4. 複数の候補から選択された前記特定領域を受け付ける特定領域受け付け手段を有し、
   前記第２の画像処理手段は、受け付けた前記特定領域に応じて、前記特定領域の画素に施す前記第２の画像処理を切り替え、
   前記第１の画像処理手段は、受け付けた前記特定領域に応じて、前記特定領域の画素に施す前記処理を切り替える、
   ことを特徴する請求項１に記載の画像処理装置。
5. 前記第２の画像処理手段は、前記認識対象物を特定する情報、又は、受け付けた前記特定領域の位置に応じて、前記特定領域の画素に施す前記第２の画像処理を切り替える、
   ことを特徴とした請求項３又は４に記載の画像処理装置。
6. 前記認識対象物を特定する情報は、入力された画像データを複写する際の画質モードである、
   ことを特徴とする請求項３記載の画像処理装置。
7. 前記第１の画像処理手段は、前記特定領域と特定領域外の領域の境界に生じる画質差を低減する、
   ことを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
8. 前記特定領域と前記特定領域以外の領域との境界に跨る連結画素を検出する連結画素検出手段と、
   前記特定領域にマスク処理を施すマスク処理手段と、を有し、
   前記マスク処理手段は、前記連結画素が検出された場合、連結画素の周囲のマスク処理を中止する、
   ことを特徴とする請求項１〜７
9. 前記境界から該特定領域内に存在する前記連結画素を前記特定領域外に移動する移動手段、を有し
   前記マスク処理手段は、前記連結画素の移動後の前記特定領域にマスク処理を施す、
   を有することを特徴とする請求項８いずれか１項記載の画像処理装置。
10. 前記連結画素は文字又は記号である、ことを特徴とする、
    請求項８又は９記載の画像処理装置。
11. 前記認識対象物は、パンチ穴、ステープル跡、バーコード、頁番号のいずれか１以上である、
    ことを特徴とする請求項２記載の画像処理装置。
12. 前記第２の画像処理の実行可否を受け付ける第２の画像処理実行可否受け付け手段を有し、
    前記第２の画像処理実行可否受け付け手段が、第２の画像処理の実行可否を受け付けない場合、
    前記第１の画像処理手段は、入力された画像データの略全面に前記第１の画像処理を施す、
    ことを特徴とする請求項1〜１１いずれか１項記載の画像処理装置。
13. 前記第２の画像処理手段が、前記認識対象物を認識した結果をメッセージにして通知する認識処理結果通知手段、
    を有することを特徴とする請求項１〜１０いずれか１項記載の画像処理装置。
14. 画像入力手段から入力された画像データの所定画素毎に、予め定められた所定のサイクル時間ずつ画像処理を施す画像処理方法であって、
    第１の画像処理手段が、画像データの少なくとも一部に複数の処理要素からなる第１の画像処理を施すステップと、
    第２の画像処理手段が、特定領域の画像データに第２の画像処理を施すステップと、を有し、
    前記第２の画像処理手段が、前記特定領域の画像データに前記第２の画像処理を施すと共に、
    前記第１の画像処理手段が、前記特定領域の画素に、前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクル時間を超えない範囲で、一以上の前記処理を施す、
    ことを特徴とする画像処理方法。
15. コンピュータに、
    画像入力手段から入力された画像データを読み出すステップと、
    画像データの所定画素毎に予め定められた所定のサイクル時間ずつ画像処理を施すステップとを実行させるプログラムであって、
    画像データの少なくとも一部に複数の処理要素からなる第１の画像処理を施すステップと、
    第２の画像処理手段が、特定領域の画像データに第２の画像処理を施すステップと、を実行させ、
    前記第２の画像処理手段が、前記特定領域の画像データに前記第２の画像処理を施すと共に、
    前記第１の画像処理手段が、前記特定領域の画素に、前記第１の画像処理と前記第２の画像処理の合計の処理時間が前記サイクル時間を超えない範囲で、一以上の前記処理を施す、 ことを特徴とするプログラム。

Images