JP2006109424A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】 画像処理において不要な処理パスの実行を回避し、プロセッサの無用な負担増大を招くことなく画像処理をソフトウエア構成により実現することを可能にして、ユーザの要求に柔軟に対応できるようにする。
【解決手段】 画像データを所定の処理を施して出力する画像処理装置において、ブロック化手段３が画像データ１０を複数のブロック１１に区分し、特性判別手段４がブロックの特性を判別する。更に、予め設定された条件に基づいて、細分化手段５が更に細分化するブロックを特定して当該ブロックを更に複数のブロックに細分化し、特性判別手段６が細分化ブロックの特性を判別する。画像処理手段７が、これら判別された特性に応じた処理パスによる処理を画像データに施して、出力手段８が処理済みの画像データを出力する。
【選択図】 図１

Description

本発明は、画像データを所定の処理を施して出力する画像処理技術に関し、特に、画像データを複数に区分したブロック毎の特性に応じて、当該画像データへの処理を行う技術に関する。

近年、白黒やカラーといった色特性、文字や写真等といった種別特性が異なる様々な特性の素材を用いて文書が構成されている。
例えば、複写機により、このような文書をスキャナ等で画像読み取りして、当該画像データに基づいてプリント出力する場合には、図７に示すようなシステムで画像データに必要な画像処理を施している。

図７に示す例は、カラー複写機においてカラー画像データを処理する画像処理システム（ＩＰＳ）である。
まず、入力されたカラー画像データに前段補正（ＥＮＬ）を施してＲＧＢ色空間を明度及び彩度のＬａｂ色空間に変換し、画像中のエッジ（絵柄）を検出し、モアレ防止等のＭＴＦ補正（デジタルフィルタ）を施す。そして、前段補正した画像データから検出した下地レベルに基づいて、ＭＴＦ補正した画像データから下地ノイズを除去し、当該画像データを後段補正によりＣＭＹＫ色空間に変換し、更に、階調補正及びスクリーン生成を施して、プリントデータとして出力する。
このように画像データをプリント出力するためには、種々な画像処理を行っている。

ハードウエア構成の画像処理システムにおいて、柔軟且つリアルタイムな処理を実現させるために、シリアルにパイプラインで繋がった複数の画像処理モジュールの制御をオブジェクトタグによって切り替えて行う発明が提案されている（特許文献１参照。）。
また、カラー複写機に適用される画像処理システムにおいて、画像データ中の注目画素がテキスト画素及びエッジ画素を表す場合と、それ以外の場合とで、異なる処理を行う発明が提案されている（特許文献２参照。）。
また、画像データを複数のブロックに分割し、これらブロックに対して並列的に画像処理を施す発明が提案されている（特許文献３参照。）。

画像データに基づいてヒストグラムを作成して画像処理する発明として、画像１ページ全体の濃度ヒストグラムを生成し、その形状特性から画像全体が文字か下地かを判別する発明が提案されている（特許文献４参照。）。
また、画像１ページ全体の濃度ヒストグラムを生成し、濃度ヒストグラム中の最大度数、及び２番目に大きい度数等の情報から下地検知を行う発明が提案されている（特許文献５参照。）。

画像データのプリント処理を制御する発明として、ページ記述言語によって記述されたデータファイルに含まれる属性情報により処理時間を予想してプリント動作の開始タイミングを制御する発明が提案されている（特許文献６参照。）。
また、画像データを予備圧縮して圧縮後のデータ量を得て、当該データ量に基づいて圧縮率と伸張処理時間との相関関係を利用して伸張処理時間を推定して出力を制御する発明が提案されている（特許文献７参照。）。
特開平１１―１６７６２７号公報 特開２００１―２４７９９０号公報 特開平５―２６８４７９号公報 特開２０００―０５９６１４号公報 特開２００４―０６４５３２号公報 特開平１０―０５８７９８号公報 特開平１０―０２３２７１号公報

図７に例示したように、画像データをプリント出力するためには多様な種類の画像処理を施すが、画像データ中の素材の特性に応じて必要な処理と必要でない処理とがある。
また、プリント画像の画質向上等の要請から、素材の特性に応じて新たに必要となる処理が発生する場合がある。

このような事情に対して、画像データ中の素材の特性に応じて必要な処理を組み合わせた工程（処理パス）をハードウエア構成で複数用意することが考えられる。例えば図６（ｂ）に示すように、ハードウエア構成の処理パスＡ、Ｂを用意しておき、画像データをこれら処理パスＡ、Ｂで並列して画像処理し、判別処理によって判別された特性により、いずれかの処理パスの処理結果を選択（ＭＰＸ）して出力することが考えられる。

しかしながら、このような方法によると、結果的に出力されない不必要な処理パスでの処理を行うこととなって無駄が生じるという課題があった。また、ハードウエア構成であることから新たな処理パスを加えることが困難であり、ユーザの要求に柔軟に対応することができないという課題があった。
また、前者の課題は、画像処理システムをソフトウエア構成する場合には特に重大であり、不必要な処理パスを並列実行するためにプロセッサの処理負担が増大して、結果として処理速度が著しく低下してしまうという課題も招いていた。

また、特性の判別においてヒストグラムを用いる方法があり、判別処理の速度化を図るために、例えば、画像データから得た２５６階調の明度値を１６階調毎にまとめてデータ量を抑えて明度ヒストグラムを作成して判別するという方法が考えられる。
しかしながら、この方法によると、データ量を抑えたことで判別処理を高速に行うことはできるものの、一律に階調度を粗くしてしまうためにヒストグラムの特徴が失われて正しい判別ができなくなるという課題があった。

また、例えば、画像処理を施した画像データを他の処理装置へ出力して更に処理させる場合、画像処理の完了後に出力処理を行わせて画像処理と出力処理とを直列処理させてもよいが、それぞれを並列処理させたほうが効率的であり望ましい。
しかしながら、通常、画像処理よりも出力処理の方が速く、単純に並列処理させるだけでは出力処理が画像処理を追い越してしまい、途中で画像処理を待たなければならない事態が発生する。
そこで、画像処理と出力処理とを並行させつつ、如何にして出力を滞りなく行えるようにするかという課題があった。

本発明は、上記従来の事情に鑑みなされたもので、画像処理において不要な処理パスの実行を回避することを目的としている。
また、本発明は、プロセッサの無用な負担増大を招くことなく、画像処理をソフトウエア構成により実現することを可能にして、ユーザの要求に柔軟に対応できるようにすることを目的としている。

また、特性の判別においてヒストグラムを用いる場合において、判別速度を向上させつつ、判別精度の向上を図ることを目的としている。
また、画像処理した画像データを後続の装置へ出力して処理させる場合において、画像処理と出力処理とを並行させつつ、途中で出力が滞ることなく出力処理を行えるようにすることを目的としている。

本発明は、画像データを所定の処理を施して出力する画像処理装置、当該画像処理装置により実施することができる画像処理方法、当該画像処理装置をソフトウエア構成するためにコンピュータが実行するプログラムとして実現される。

本発明では、ブロック化手段が画像データを複数のブロックに区分し、特性判別手段がこれらブロックの特性を判別し、画像処理手段が各ブロックに特性に応じて予め設定された処理を施す。
したがって、画像データ中の素材の特性に応じた処理パスをブロック毎の単位で選択して実行することができる。

また、本発明では、ブロック化手段が画像データを複数のブロックに区分し、細分化手段が予め設定された条件に基づいて更に細分化するブロックを特定して当該ブロックを更に複数のブロックに細分化し、特性判別手段がブロック及び細分化ブロックの特性を判別して、画像処理手段がブロック及び細分化ブロックに特性に応じて予め設定された処理を施す。
したがって、ブロックを更に細分化することで、ブロック及び細分化ブロックの素材特性精度を高め、特性に応じた処理パスを選択して実行することができる。

ここで、特性はヒストグラムを用いて判別することができ、特に、ブロックの特性はブロック画像の明度ヒストグラムに基づいて判別し、細分化ブロックの特性は更に細分化ブロック画像の彩度ヒストグラムに基づいて判別することが好ましい。
すなわち、背景下地は明度ヒストグラムのハイライト部に１つのピークがあるという特徴を利用して背景下地ブロックを判別でき、その他のブロックについては更に細分化して明度ヒストグラム及び彩度ヒストグラムを用いて黒文字、色文字、カラー写真、白黒写真等の他の特性を判別できる。

このとき、ブロック又は細分化ブロックの画像データを量子化する階調度を少なくとも部分的に粗くした階調度パターンを素材特性毎に予め用意しておき、画像データの処理のために指定された素材特性に応じた階調度パターンを用いて、ブロック又は細分化ブロックに含まれる画素値に基づいて明度ヒストグラム及び彩度ヒストグラムを作成することが好ましい。
すなわち、優先して画像処理させる素材特性に応じて量子化幅を変えて、その素材特性の判別に適したヒストグラムを作成して判別に用いることにより、該当するブロック又は細分化ブロックを容易に判別して適切な画像処理を施すことができ、また、ヒストグラムのデータ量を減らしたため判別処理を高速に行うことができる。

また、本発明は、画像処理を施した１フレーム分の画像データを出力する出力手段を有しており、１フレーム分の画像データ中の画像処理を施した部分のデータ量に基づいて出力に要する時間を算出し、判別した特性を用いて、当該画像データ中の画像処理を未だ施していない部分のデータ量に基づいて処理終了までの時間を算出し、出力に要する時間と処理終了までの時間とを比較して、出力に要する時間が処理終了までの時間を上回るときに出力手段により１フレーム分の画像データの出力を開始させる。
すなわち、画像処理と出力処理とを並行して行う場合において、出力処理が画像処理を追い越すことのないタイミングで出力処理を開始させるため、出力を滞りなく行うことができる。

本発明によると、画像データ中の素材特性に応じた処理パスをブロック単位で選択して画像処理を実行することができるため、画像処理において不要な処理パスの実行を回避することができる。すなわち、図６（ｂ）に示すように、画像データを処理パスＡ、Ｂで並列して画像処理して、判別処理によって判別された特性によりいずれかの処理パスの処理結果を選択して出力する構成に対して、本発明では、同図（ａ）に示すように、判別処理によって判別された特性により処理パスＡ、Ｂのいずれかを選択して実行させ、最適な処理パスにより処理結果を出力することができる。
また、本発明は、必要な処理パスを選択して処理を実行するため、プロセッサの無用な負担増大を招くことなく、画像処理をソフトウエア構成により実現することができ、ユーザの要求に柔軟に対応することができる。

また、本発明は、優先して画像処理させる素材特性に応じて、その特性の判別に適したパターンの量子化を施して階調度数を減じたヒストグラムを作成して判別に用いるため、該当するブロック及び細分化ブロックを容易に判別して必要な画像処理を施すことができ、また、ヒストグラムのデータ量を減じたため判別速度が向上する。

また、本発明は、画像処理と出力処理とを並行させるにあたり、画像処理の終了までの時間と出力に要する時間とを予測して、画像処理を追い越すことのないタイミングで出力処理を開始させるため、出力処理を滞りなく行え、出力先の装置は途切れることなくデータを受け取ることができる。

以下、本発明を実施例に基づいて具体的に説明する。
図１には本発明の一例に係る画像処理装置１の主要な機能構成を示してあり、この画像処理装置１は複写機の画像処理システムとして備えられている。

画像処理装置１は、スキャナ読み取り等で得られた文書の画像データが入力される入力手段２、画像データを複数のブロック（例えば６×６ｍｍ）に区分するブロック化手段３、区分された各ブロックの特性を判別する第１の特性判別手段４、予め設定された条件（例えば、画像の下地特性のブロックは細分化しない）に基づいて更に細分化するブロックを特定して当該ブロックを更に複数のブロック（例えば３×３ｍｍ）に細分化する細分化手段５、細分化ブロックの特性を判別する第２の特性判別手段６、ブロックの特性及び細分化ブロックの特性に応じて画像データの対応するブロック及び細分化ブロックに予め設定された処理パスにより画像処理を施す画像処理手段７、画像処理された画像データを印刷データとして出力する出力手段８を備えている。

上記各機能手段３〜７は、それぞれハードウエア構成で実現するようにしてもよいが、本例では、画像処理装置１のコンピュータハードウエアにより本発明に係るプログラムを実行することにより構成されている。
なお、第１の特性判別手段４と第２の特性判別手段６とは同じ機能手段を兼用することで構成してもよい。

第１の特性判別手段４及び第２の特性判別手段６で判別された特性に応じて、特性画像処理手段８が対応するブロック及び細分化ブロックに対して処理パスを選択する処理を、図２を参照して説明する。
なお、図２には、説明を簡明にするため、入力された画像データ１０をブロック化して、各ブロックに対する処理パスを選択する場合を例示してあるが、細分化ブロックについても同様である。

ブロック化手段３（細分化手段５）によりマトリックス状の複数ブロックに区分された画像データ１０に対して、第１の特性判別手段４（第２の特性判別手段６）が各ブロック１１（細分化ブロック）の画像特性を判別し、画像処理手段７が、例えば予め設定された対応テーブル１２に基づいて、画像データ中の対応するブロック（細分化ブロック）に対して画像処理を行う処理パスを選択して実行する。
例えば、画像特性Ａと判別されたブロック１１はＥＮＬ＋ＴＲＣ＋ＹＹＹといった各処理工程からなる処理パスで画像処理され、画像特性Ｂと判別されたブロック１１はＥＮＬ＋色変換＋ＸＸＸ＋ＹＹＹといった各処理工程からなる処理パスで画像処理され、画像特性Ａ＋Ｂと判別されたブロック１１はゴースト補正＋ＹＹＹといった各処理工程からなる処理パスで画像処理される。

次に、第１の特性判別手段４及び第２の特性判別手段６で行う画像特性の判別処理を、図３を参照して説明する。
図３はブロック（細分化ブロック）の画像が含む素材に応じた明度（Ｌ）のヒストグラムと彩度（ａ、ｂ）のヒストグラムを示しており、同図（ａ）は黒文字、（ｂ）は色文字、（ｃ）はカラー写真画像、（ｄ）は白黒写真画像、（ｅ）は背景下地である。

本例のヒストグラムは、例えば、２５６階調の階調度で画素値（明度値又は彩度値）を量子化して横軸に、各画素値に対応する画素数を縦軸にとっており、画像ブロック中の画素値の階調度毎の分布を示している。
ここで、本例では、明度（Ｌ）のヒストグラムは画素値が小さいほど明るく、大きいほど暗いことを示しており、彩度（ａ）のヒストグラムは画素値の中心は色味のないグレーを示し、マイナス方向に向かって緑色が濃く、プラス方向に向かって赤色が濃くなることを示しており、彩度（ｂ）のヒストグラムは画素値の中心は色味のないグレーを示し、マイナス方向に向かって青色が濃く、プラス方向に向かって黄色が濃くなることを示している。
また、本例のように縦軸で画素数を表すかわりに、例えば、縦軸で出現割合を表す等、他の方法でヒストグラム化して用いてもよい。

各ブロック（細分化ブロック）は画像素材に応じて異なるヒストグラム特性を示し、例えば、黒文字を含む画像ブロック（ａ）はハイライトと高濃度にピークのある明度ヒストグラム及び中央に１つピークがある彩度ヒストグラムとなり、色文字を含む画像ブロック（ｂ）はハイライトと高濃度にピークのある明度ヒストグラム及び中央と中央からずれた位置に２つピークがある彩度ヒストグラムとなり、カラー写真画像を含む画像ブロック（ｃ）はなだらかでピークが不定な明度ヒストグラム及びなだらかでピークが不定な彩度ヒストグラムとなり、白黒写真画像を含む画像ブロック（ｄ）はなだらかでピークが不定な明度ヒストグラム及び中央に１つのピークがある彩度ヒストグラムとなり、背景下地を含む画像ブロック（ｅ）はハイライトに１つのピークがある明度ヒストグラム及び中央に１つのピークがある彩度ヒストグラムとなる。

したがって、第１の特性判別手段４及び第２の特性判別手段６は、上記のようなヒストグラム特性によって、ブロック及び細分化ブロックの画像特性を判別することができる。
そして、画像処理手段７は、これら判別された画像特性に応じて、図２に示したように対応するブロック及び細分化ブロックに対して画像処理を行う処理パスを選択して実行する。

図４には、本例に係る画像処理装置を処理パスの内容をより具体的にして示してある。なお、説明を簡明にするため、ブロック化及び細分化に関する説明は省略する。
図４に示す例では、画像特性として、「カラー写真」、「カラー文字及び周辺下地」、「カラー下地」、「白黒写真」、「白黒文字及び周辺下地」、「白黒下地」が設定されており、これら特性に応じて異なる処理工程を含む処理パスがそれぞれ予め設定されている。すなわち、画像特性に適した処理パスが予め設定されている。

例えば、画像特性「カラー写真」には、「下地除去」「デジタルフィルタ」「後段色補正」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。
また、画像特性「カラー文字及び周辺下地」には、「下地除去」「エッジ抽出」「デジタルフィルタ」「後段色補正」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。
また、画像特性「カラー下地」には、「下地除去」「後段色補正」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。

また、画像特性「白黒写真」には、「下地除去」「デジタルフィルタ」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。
また、画像特性「白黒文字及び周辺下地」には、「下地除去」「エッジ抽出」「デジタルフィルタ」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。
また、画像特性「白黒下地」には、「下地除去」「階調補正」「スクリーン生成」の処理を順次行う処理パスが設定されている。

したがって、特性判別手段４（６）によってブロック毎の画像特性が判別された画像データは、画像処理手段７において、各ブロック毎に予め設定された処理パスが選択されて画像処理が実行され、印刷データとして出力される。

図５には、本例に係る画像処理装置に係るブロックの細分化の内容をより具体的にして示してある。
なお、図示の例では、ブロックのサイズをＸ×Ｙ、Ｘ’×Ｙ’、Ｘ”×Ｙ”（Ｘ＞Ｘ’＞Ｘ”、Ｙ＞Ｙ’＞Ｙ”）の３種類として、ブロックを２段階に細分化するようにしているが、細分化を採用するか否か、細分化を行い場合の段階数は任意に設定すればよい。

まず、例えば図５（ｂ）に示すように、白黒下地の紙面２０に、白黒文字の記述２１、白黒写真２２、カラー写真２３、カラー文字の記述２４、白黒文字の記述２５を含む画像データが入力されると、同図（ａ）に示すような手順で処理が実行される。
ブロック化手段３が入力された画像データをＸ×Ｙのブロックに区分し（ステップＳ１）、特性判別手段４が各ブロックの画像特性を判別する（ステップＳ２）。この結果、「白黒又はカラーの下地」と判別されたブロックについては、当該特性が画像処理手段７に通知されてそれぞれ所定の処理パスにより画像処理される（ステップＳ７）。

一方、「白黒又はカラーの下地」以外の特性のブロックは、細分化手段５がＸ’×Ｙ’のブロックに細分化して区分し（ステップＳ３）、特性判別手段６が各細分化ブロックの画像特性を判別する（ステップＳ４）。この結果、「白黒又はカラーの写真」と判別された細分化ブロックについては、当該特性が画像処理手段７に通知されてそれぞれ所定の処理パスにより画像処理される（ステップＳ７）。
また一方、「白黒又はカラーの写真」以外の特性のブロックは、細分化手段５がＸ”×Ｙ”のブロックに更に細分化して区分し（ステップＳ５）、特性判別手段６が各細分化ブロックの画像特性を判別する（ステップＳ６）。この結果、「白黒又はカラーの文字」と判別された細分化ブロックについては、当該特性が画像処理手段７に通知されてそれぞれ所定の処理パスにより画像処理される（ステップＳ７）。

図８には、本例の特性判別手段４（６）をより詳細に示してある。
特性判別手段４（６）は、特性の判別に用いる各素材特性毎のヒストグラムを保持するヒストグラムテーブル２１、ブロック又は細分化ブロックから各画素の画素値を抽出する画素値抽出手段２２、抽出した画素値に基づいてヒストグラムを作成するヒストグラム作成手段２３、作成したヒストグラムに基づいてヒストグラムテーブル２１を参照してブロック又は細分化ブロックの特性を判別するマッチング手段２４を備えている。

本例の画像処理装置は、画質を優先させる素材特性の指定をユーザから受け付けており、例えば、「文字」「写真」「文字／写真混在」等が指定される。なお、この素材特性は上記ユーザ指定に限らず、例えば、他の装置が画像データに基づいて予め判別したものを用いてもよい。

ヒストグラム作成手段２３は、量子化する階調度を少なくとも部分的に粗くした階調度パターンを各素材特性毎に予め用意しており、指定された素材特性に応じた階調度パターンを用いてブロック又は細分化ブロックのヒストグラムを作成する。
また、ヒストグラムテーブル２１は、図３に示したような各素材特性毎の典型的なヒストグラムについて階調度パターンを適用して、ブロック又は細分化ブロックのヒストグラムと同じ量子化幅とした参照用ヒストグラムを保持しており、上記作成したブロック又は細分化ブロックのヒストグラムとの比較を容易に行えるようにしている。

階調度パターンは、後述するように、素材特性のヒストグラムの判別に適した量子化を施すように設定されており、これを適用して作成したヒストグラムを用いて判別することで、該当するブロック又は細分化ブロックの判別が容易になる。
すなわち、例えば、優先させる素材特性として「文字」が指定されているときは、文字と写真との混在ブロックのヒストグラムは文字の特徴部分を強調したヒストグラムとなり、「文字」特性と判別されて「文字」の処理パスに基づいて画像処理が行われるため、「文字」に適した画像処理が施され、プリント出力される画像を文字が鮮明なものとすることができる。

この階調度パターンを用いたヒストグラムの作成について、図９を用いて説明する。
図９（Ａ）には「文字」の明度ヒストグラムの一例を示してある。この明度ヒストグラムは、横軸をａ〜ｙで区切って示してあるように一定の量子化幅となっており、この量子化数が２５６階調（８ｂｉｔｓ）となっている。

ここで、「文字」の明度ヒストグラムは、図３（ａ）又は（ｂ）に示したように、ハイライト部（低濃度部）に比較的大きなピークを示すと共に、高濃度部のいずれかの位置に比較的小さなピークを示すという特徴を有する。
そこで、「文字」特性判別用の明度ヒストグラムの階調度パターンは、図９（Ｂ）に示すように、低濃度部はピーク形状が判るように比較的細かな量子化幅（ａ〜ｇ：上記図９（Ａ）の量子化幅）とし、高濃度部はいずれかの位置に１つのピークが現れることが判ればよいので比較的粗い量子化幅（ｚ：上記図９（Ａ）のｈ〜ｙを１つにまとめた量子化幅）とするように設定して、上記ヒストグラムの特徴を保持しつつヒストグラムのデータ量が圧縮されるようにしている。

この階調度パターンを図９（Ａ）に適用することにより、同図（Ｃ）に示すように、同図（Ａ）中のｈ〜ｙ部分をｚ部分として１つの量子化幅にまとめた簡略化された明度ヒストグラムが作成され、同様に上記階調度パターンを適用して予め作成しておいたヒストグラムテーブル２１に保持された参照用ヒストグラムと比較することにより、容易に「文字」特性を判別することができる。
また、同図（Ｃ）のヒストグラムは、量子化数がａ〜ｇ及びｚの８つ、すなわち３ｂｉｔｓであるため、同図（Ａ）に示した８ｂｉｔｓのヒストグラムと比較してデータ量が非常に少なく、判別処理の負担が軽減されて高速に判別を行うことができる。

また、例えば、「写真」特性の明度ヒストグラムは、図３（ｃ）又は（ｄ）に示すように、なだらかでピーク不足であるという特徴を有する。すなわち、「写真」特性の判別には、ピークの有無やピーク形状が判る必要がなく、明度値が適度に分散していることが判ればよいため、全体的に粗い量子化幅（例えば、明度値全体を等幅に８段階に分けた量子化幅）とした階調度パターンを用いればよい。この階調度パターンを適用することで、明度値の分散度合いが判りやすい簡略化された明度ヒストグラムが作成され、容易に「写真」特性を判別することができる。

上記のように、階調度パターンは、判別のためにヒストグラムの形状が必要な部分については細かい量子化幅としてその形状を残し、形状まで必要ない部分については粗い量子化幅としてまとめるように設定すればよい。
すなわち、図３に示したような各素材特性毎の典型的なヒストグラムについて、上記階調度パターンをそれぞれ適用し、参照用ヒストグラムを作成してヒストグラムテーブル２１に予め保持させておく。そして、ブロック又は細分化ブロックについて、画質優先するように指定された素材特性に応じた階調度パターンを適用してヒストグラムを作成する。これらのヒストグラムは、いずれも特徴部分を残して簡略化されているため、ブロック又は細分化ブロックのヒストグラムと参照用ヒストグラムとの比較が簡単なため、特性の判別を容易に行うことができる。

なお、本例では、ヒストグラムテーブル２１は各素材特性毎の典型的な参照用ヒストグラムを保持し、マッチング手段２４はブロック又は細分化ブロックのヒストグラムを参照用ヒストグラムと比較して特性の判別を行っているが、例えば、ヒストグラムテーブル２１に各素材特性毎のヒストグラムの特徴を示す条件式を保持させて、ブロック又は細分化ブロックのヒストグラムが条件を満たすか否かで特性を判別する等、他の方法で判別するようにしてもよい。

図１０には、本発明に係る画像処理装置１の他の一例を示してあり、図１に例示した画像処理装置が備える各機能手段２〜８に加えて、１フレーム分の画像データのうちの未処理部分の処理に要する時間及び処理済部分の出力に要する時間を算出する処理終了推定手段３１、出力に要する時間が処理に要する時間を上回るときに出力手段８による１フレーム分の画像データの出力を開始させる出力制御手段３２を更に備え、出力手段８により出力される画像データは、例えば、画像形成装置による印刷処理、或いは他の画像処理装置による画像の拡大・縮小や別の画像との合成等の処理が施される。

上記各機能手段３〜７、３１、３２は、それぞれハードウエア構成で実現するようにしてもよいが、本例では、画像処理装置１のコンピュータハードウエアにより本発明に係るプログラムを実行することにより構成されている。
なお、本例のコンピュータハードウエアは複数のプロセッサを備えており、ブロック化手段３と細分化手段５と特性判別手段４（６）とを１つのプロセッサ、画像処理手段７を別のプロセッサ、処理終了推定手段３１と出力制御手段３２とを更に別のプロセッサに処理を振り分けて、並行処理させることで処理の高速化を図っているが、例えば、１つプロセッサを備えた複数のコンピュータハードウエアに各処理を振り分けて画像処理装置１を構成してもよい。

本例の画像処理装置は、入力された１フレーム分の画像データをブロック（細分化ブロック）に分割して、特性判別手段４（６）による特性判別、及び画像処理手段７による画像処理をそれぞれのブロック（細分化ブロック）に対して順番に施している。
ここで、上記処理の途中の或る時点において、残りの特性判別及び画像処理を施すために必要な残処理時間をＴ２、特性判別及び画像処理を施したデータ部分の出力手段８による出力に要する出力時間をＴ１とする。

図１１には、１フレーム分の画像データについての処理の途中の状態を概念的に示している。画像データが入力された直後は画像データは全てが未処理であり、この未処理部分について処理を施すことで次第に処理済となり、処理済部分は出力手段８により出力される。すなわち、この未処理部分の特性判別及び画像処理に要する残処理時間がＴ２、処理済部分の出力に要する出力時間がＴ１である。

処理終了推定手段３１は、出力時間Ｔ１及び残処理時間Ｔ２を算出するために、画像処理手段７による処理の進行状況に応じて１フレーム分の画像データ中の処理済部分のデータ量ｄ１を取得し、また、特性判別手段４（６）による判別結果に基づいて、未処理部分のうちの「下地」特性部分のデータ量ｄ２ｂ、「文字」特性部分のデータ量ｄ２ｔ、「写真」特性部分のデータ量ｄ２ｐ、その他の部分のデータ量ｄ２ｅを取得する。

また、処理終了推定手段３１は、単位データ量の出力に要する出力時間係数ｔ１、及び、図１２に示すように単位データ量の画像処理に要する各特性毎の処理時間係数として、「下地」特性の処理時間係数ｔ２ｂ、「文字」特性の処理時間係数ｔ２ｔ、「写真」特性の処理時間係数ｔ２ｐ、その他の部分の処理時間係数ｔ２ｅが、画像処理装置１の処理能力に応じて予め設定されており、出力時間Ｔ１＝ｄ１×ｔ１、残処理時間Ｔ２＝ｄ２ｂ×ｔ２ｂ＋ｄ２ｔ×ｔ２ｂ＋ｄ２ｐ×ｔ２ｐ＋ｄ２ｅ×ｔ２ｅとして算出する。

そして、出力制御手段３２が、出力時間Ｔ１と残処理時間Ｔ２とを比較して、出力時間Ｔ１≧残処理時間Ｔ２となったときに出力手段８により１フレーム分の画像データの出力を開始させる。

この、画像データの出力を開始するタイミングについて、図１３を用いて説明する。
画像処理が開始（４１）すると、図中に楕円４５で示した一定のタイミング毎に出力時間Ｔ１及び残処理時間Ｔ２を算出し、出力開始の条件、すなわちＴ１≧Ｔ２を満たすか否かを判定し、条件を満たしたときに１フレーム分の画像データの出力を開始する（４２）。
このタイミングで出力を開始すると、画像処理の終了（４３）と同時又は終了後に、出力処理が終了（４４）する。すなわち、出力を開始した時点では未処理部分が残っているが、出力時間Ｔ１が経過した時点では、既に残処理時間Ｔ２が経過して１フレーム分の画像データが全て処理済となり、１フレーム分の画像データの出力を滞りなく行え、出力先の装置は途切れることなく画像データを受け取ることができる。

図１４には、出力制御の処理フローが示してある。
画像処理手段７による画像処理の開始に応じて、処理終了推定手段３１が出力時間Ｔ１及び残処理時間Ｔ２を算出（ステップＳ２１）する。そして、出力制御手段３２がＴ１≧Ｔ２の条件を満たすか否かを判定する（ステップＳ２２）。条件を満たしていない場合は一定時間待機し（ステップＳ２３）、Ｔ１及びＴ２を算出し直して（ステップＳ２１）、条件を満たすか再判定する（ステップＳ２２）。Ｔ１≧Ｔ２の条件を満たす場合は、出力を開始しても滞りなく画像データを出力できるため、出力制御手段３２は出力手段８により１フレーム分の画像データの出力を開始させる（ステップＳ２４）。

本発明の一実施例に係る画像処理装置の構成図である。 本発明の一実施例に係るブロック特性に応じた処理選択を説明する図である。 本発明の一実施例に係るブロック特性の判別処理を説明する図である。 本発明の一実施例に係る特性に応じた画像処理を説明する図である。 本発明の一実施例に係るブロックの細分化処理を説明する図である。 本発明と従来との相違を説明する概念図である。 画像処理システムの一例を説明する図である。 本発明の一実施例に係る特性判別手段を説明する図である。 本発明の一実施例に係るヒストグラムの作成処理を説明する図である。 本発明の一実施例に係る画像処理装置を説明する図である。 本発明の一実施例に係る画像データの処理状況を説明する図である。 本発明の一実施例に係る残処理時間の算出に用いる処理時間係数を示す図である。 本発明の一実施例に係る出力処理の開始タイミングを説明する図である。 本発明の一実施例に係る出力制御の処理フローを説明する図である。

符号の説明

１：画像処理装置、 ３：ブロック化手段、
４：特性判別手段、 ５：細分化手段、
６：特性判別手段、 ７：画像処理手段、
１０：画像データ、 １１：ブロック、
１２：画像特性と処理パスとの対応表、
２１：ヒストグラムテーブル、 ２２：画像抽出手段、
２３：ヒストグラム作成手段、 ２４：マッチング手段、
３１：処理終了推定手段、 ３２：出力制御手段、

Claims (14)

1. 画像データを所定の処理を施して出力する方法において、
   画像データを複数のブロックに区分して、各ブロックの特性を判別し、各ブロックに特性に応じて予め設定された処理を施すことを特徴とする画像処理方法。
2. 画像データを所定の処理を施して出力する方法において、
   画像データを複数のブロックに区分して、各ブロックの特性を判別し、
   予め設定された条件に基づいて、更に細分化するブロックを特定し、
   前記特定されたブロックを更に複数のブロックに細分化して、各細分化ブロックの特性を判別し、
   前記ブロック及び細分化ブロックに、これらの特性に応じて予め設定された処理を施すことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記ブロックの特性は、当該ブロック画像の明度ヒストグラムに基づいて判別し、
   前記細分化ブロックの特性は、更に当該細分化ブロック画像の彩度ヒストグラムに基づいて判別することを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法において、
   前記ブロック又は細分化ブロックの画像データを量子化する階調度を少なくとも部分的に粗くした階調度パターンを素材特性毎に予め用意しておき、
   画像データの処理のために指定された素材特性に応じた階調度パターンを用いて、前記ブロック又は細分化ブロックに含まれる画素値に基づいて前記明度ヒストグラム及び彩度ヒストグラムを作成することを特徴とする画像処理方法。
5. 請求項１乃至請求項４のいずれか１項に記載の画像処理方法において、
   前記処理を施した１フレーム分の画像データを出力する出力手段を有し、
   １フレーム分の画像データ中の前記処理を施した部分のデータ量に基づいて出力に要する時間を算出し、
   前記判別した特性を用いて、当該画像データ中の前記処理を未だ施していない部分のデータ量に基づいて処理終了までの時間を算出し、
   前記出力に要する時間と処理終了までの時間とを比較して、出力に要する時間が処理終了までの時間を上回るときに出力手段により１フレーム分の画像データの出力を開始させることを特徴とする画像処理方法。
6. 画像データを所定の処理を施して出力する画像処理装置において、
   画像データを複数のブロックに区分するブロック化手段と、
   前記ブロックの特性を判別する特性判別手段と、
   前記ブロックに特性に応じて予め設定された処理を施す画像処理手段とを備えたことを特徴とする画像処理装置。
7. 画像データを所定の処理を施して出力する画像処理装置において、
   画像データを複数のブロックに区分するブロック化手段と、
   予め設定された条件に基づいて、更に細分化するブロックを特定して当該ブロックを更に複数のブロックに細分化する細分化手段と、
   前記ブロック及び細分化ブロックの特性を判別する特性判別手段と、
   前記ブロック及び細分化ブロックに特性に応じて予め設定された処理を施す画像処理手段とを備えたことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記特性判別手段は、ブロック画像の明度ヒストグラムに基づいて前記ブロックの特性を判別し、更に細分化ブロック画像の彩度ヒストグラムに基づいて前記細分化ブロックの特性を判別することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記ブロック又は細分化ブロックの画像データを量子化する階調度を少なくとも部分的に粗くした階調度パターンを素材特性毎に予め用意しておき、
   画像データの処理のために指定された素材特性に応じた階調度パターンを用いて、前記ブロック又は細分化ブロックに含まれる画素値に基づいて前記明度ヒストグラム及び彩度ヒストグラムを作成することを特徴とする画像処理装置。
10. 請求項６乃至請求項９のいずれか１項に記載の画像処理装置において、
    前記処理を施した１フレーム分の画像データを出力する出力手段を有し、
    １フレーム分の画像データ中の前記処理を施した部分のデータ量に基づいて出力に要する時間を算出し、前記判別した特性を用いて、当該画像データ中の前記処理を未だ施していない部分のデータ量に基づいて処理終了までの時間を算出する処理終了推定手段と、
    前記出力に要する時間と処理終了までの時間とを比較して、出力に要する時間が処理終了までの時間を上回るときに出力手段により１フレーム分の画像データの出力を開始させる出力制御手段とを、更に備えたことを特徴とする画像処理装置。
11. 画像データを所定の処理を施して出力するための処理機能をコンピュータに実現するプログラムであって、
    画像データを複数のブロックに区分する機能と、
    各ブロックの特性を判別する機能と、
    各ブロックに特性に応じて予め設定された処理を施す機能とを、コンピュータに構成することを特徴とするコンピュータプログラム。
12. 画像データを所定の処理を施して出力するための処理機能をコンピュータに実現するプログラムであって、
    画像データを複数のブロックに区分する機能と、
    ブロックの特性を判別する機能と、
    予め設定された条件に基づいて、更に細分化するブロックを特定する機能と、
    特定されたブロックを更に複数のブロックに細分化する機能と、
    細分化ブロックの特性を判別する機能と、
    ブロック及び細分化ブロックに、これらの特性に応じて予め設定された処理を施す機能とを、コンピュータに構成することを特徴とするコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムにおいて、
    前記ブロック又は細分化ブロックの画像データを量子化する階調度を少なくとも部分的に粗くした階調度パターンを素材特性毎に予め用意しておき、
    前記ブロック及び細分化ブロックの特性を判別する機能は、
    画像データの処理のために指定された素材特性に応じた階調度パターンを用いて、前記ブロック又は細分化ブロックに含まれる画素値に基づいて明度ヒストグラム及び彩度ヒストグラムを作成し、
    当該ブロックの明度ヒストグラムに基づいて当該ブロックの特性を判別し、更に当該細分化ブロックの彩度ヒストグラムに基づいて当該細分化ブロックの特性を判別することを特徴とするコンピュータプログラム。
14. 請求項１１乃至請求項１３のいずれか１項に記載のコンピュータプログラムにおいて、
    コンピュータは、前記処理を施した１フレーム分の画像データを出力する出力手段を有し、
    １フレーム分の画像データ中の前記処理を施した部分のデータ量に基づいて出力に要する時間を算出し、前記判別した特性を用いて、１フレーム分の画像データ中の前記処理を未だ施していない部分のデータ量に基づいて処理終了までの時間を算出する機能と、
    前記出力に要する時間と処理終了までの時間とを比較して、出力に要する時間が処理終了までの時間を上回るときに出力手段により１フレーム分の画像データの出力を開始させる機能とを、更にコンピュータに構成することを特徴とするコンピュータプログラム。

Images