JP2021190807A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】フィードバックループを持つハーフトーン処理に強調処理を実施しても、安定した好ましい出力画像を得るための技術を提供する。【解決手段】画像処理装置において、画像処理部は、入力画像における注目画素の画素値に、該注目画素に対して拡散された誤差を加算し、該加算後の画素値を量子化し、該量子化後の画素値に対してエッジ強調を行った強調画素値を求め、該強調画素値に基づいて出力画素の画素値を求める。強調画素値に基づく逆量子化結果と、入力画像における注目画素の画素値に誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求める。【選択図】図２

Description

本発明は、少ない階調数で元の階調を疑似的に表現する画像処理技術に関するものである。

デジタル画像の各画素は、１色当り８ビットや１６ビットの多階調で表現されるものが一般的である。このようなデジタル画像をプリンタで印刷する場合、プリンタで印刷可能な１ビットから４ビット程度の少ない階調数に削減しつつ、元の階調を疑似的に表現するハーフトーン処理が施される。

好適なハーフトーン処理では、平坦な画像領域において、少ない階調数で表現される出力画素値の分布が目立たないように、高い分散性を持つ出力画素値を出力する。一方で、画像中のエッジ部分については、ぼけることなく高い再現性のエッジが出力されるように、画像中のエッジ部分に強調処理を施すことが一般的である。特許文献１には、画像データをハーフトーン処理により二値化する一方、エッジ画素と判定された画素の二値化した画像情報に対してエッジ強調処理を実行する技術が開示されている。

特開平５−２２７４３２号公報

しかしながら、特許文献１で開示された技術においては、エッジ強調処理が施された画素の結果を隣接画素に適切に反映させることができない。この点について、特許文献１に記載の二値化処理が誤差拡散処理である場合を例にとり説明する。誤差拡散処理では、ある画素に対して二値化処理を実施し、この先行する画素で生成される誤差を隣接する周囲画素に拡散し、次に処理する画素の画素値を補正して二値化処理することを繰り返すことで、局所領域において元の階調を忠実に再現することができる。特許文献１では、誤差拡散処理により算出した出力画素値に対して、誤差拡散処理とは関連のないエッジ判定方法でエッジ画素を特定し、エッジ画素において上記の出力画素値に補正を行う。従って、エッジ補正された出力画素値が隣接する画素に影響を与えることがないため、連続する複数画素により構成されるエッジの階調を表現しつつ、ぼけのない出力画像を得ることは困難である。

一方で、誤差拡散処理にように、先行画素の処理結果を参照して次の画素の処理を実施するフィードバックループの中で強調処理を行うと、過度に強調が起きたり、期待する強調効果が減退したり、出力が不安定になることが知られている。本発明では、フィードバックループを持つハーフトーン処理に強調処理を実施しても、安定した好ましい出力画像を得るための技術を提供する。

本発明の一様態は、入力画像における注目画素の画素値に、該注目画素に対して拡散された誤差を加算し、該加算後の画素値を量子化し、該量子化後の画素値に対してエッジ強調を行った強調画素値を求め、該強調画素値に基づいて出力画素の画素値を求める処理手段と、前記強調画素値に基づく逆量子化結果と、前記入力画像における注目画素の画素値に前記誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求める拡散手段とを備えることを特徴とする。

本発明の構成によれば、フィードバックループを持つハーフトーン処理に強調処理を実施しても、安定した好ましい出力画像を得ることができる。

画像処理装置のハードウェア構成例を示すブロック図。 画像処理部１０５の機能構成例を示すブロック図。 画像処理部１０５の動作を示すフローチャート。 入力画像からの画素の選択順の一例を示す図。 量子化部２０３による階調変換の一例を示す図。 ステップＳ３０３における処理を説明する図。 ステップＳ３０８における処理を説明する図。 拡張フィルタの構成例を示す図。 画像領域４０１に対応する出力画像の画像領域９０１内の画素値の一例を示す図。 画像処理装置の機能構成例を示すブロック図。 ステップＳ１３０４における処理を説明する図。 選択画素の各色に対応する閾値について説明する図。 画像処理装置の動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では各画素の画素値が８ビット（０〜２５５の２５６階調）で表現される入力画像を、各画素の画素値が２ビット（０〜３の４階調）で表現される出力画像に変換する誤差拡散処理と、該入力画像におけるエッジを強調するエッジ強調処理と、を行う。

先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像処理装置には、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォンなどのコンピュータ装置が適用可能である。なお、本実施形態に係る画像処理装置は、組み込み機器として実装してもよく、例えば、印刷機能を有する装置（印刷装置や複合機など）が有する画像処理部として該装置に組み込んでもよい。

ＣＰＵ１００は、ＲＡＭ１０１やＲＯＭ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１００は、画像処理装置全体の動作制御を行うとともに、画像処理装置が行うものとして後述する各処理を実行もしくは制御する。

ＲＡＭ１０１は、ＲＯＭ１０２や外部記憶装置１０７からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ部１０６を介して外部から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１０１は、ＣＰＵ１００や画像処理部１０５が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０１は、各種のエリアを適宜提供することができる。

ＲＯＭ１０２には、画像処理装置の設定データ、画像処理装置の起動に係るコンピュータプログラムやデータ、画像処理装置の基本動作に係るコンピュータプログラムやデータ、が格納されている。

操作部１０３は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１００に対して入力することができる。

表示部１０４は、液晶画面やタッチパネル画面を有する表示装置であり、ＣＰＵ１００や画像処理部１０５による処理結果を画像や文字などでもって表示することができる。なお、表示部１０４は、画像や文字を投影するプロジェクタなどの投影装置であってもよい。

画像処理部１０５は、コンピュータプログラムを実行可能なプロセッサや専用の画像処理回路を有し、画像処理に係る各種の処理を実行する。例えば、画像処理部１０５は、ＣＰＵ１００から画像処理を実行する命令を受け付けると、ＲＡＭ１０１に格納されている入力画像をハーフトーン処理し、処理結果を出力する。画像処理部１０５は、ＲＡＭ１０１の記憶領域を適宜利用して、画像処理に係る各種の処理を実行する。

Ｉ／Ｆ部１０６は、外部機器との間のデータ通信を行うためのインターフェースである。例えば、Ｉ／Ｆ部１０６は、ＬＡＮやインターネットなどのネットワークに接続するための通信インターフェース、外部デバイスを接続するＵＳＢインターフェース、などを含みうる。

外部記憶装置１０７は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１０７には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして後述する各処理をＣＰＵ１００や画像処理部１０５に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１００による制御に従って適宜ＲＡＭ１０１にロードされ、ＣＰＵ１００や画像処理部１０５による処理対象となる。

ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２、操作部１０３、表示部１０４、画像処理部１０５、Ｉ／Ｆ部１０６、外部記憶装置１０７、は何れも、バス１０８に接続されている。

なお、図１に示した構成は、画像処理装置に適用可能なコンピュータ装置の構成の一例にすぎず、適宜変更や変形が可能である。上記の画像処理部１０５の機能構成例を図２に示す。また、画像処理部１０５の動作を示すフローチャートを図３に示す。

Ｉ／Ｆ部１０６を介して外部から若しくは外部記憶装置１０７からＲＡＭ１０１に入力画像（各画素の画素値が８ビット（０〜２５５）で表現される入力画像）が格納されると、ＣＰＵ１００は画像処理部１０５に対して処理開始を指示する。画像処理部１０５は、該指示を受けると、図３のフローチャートに従った処理を開始する。

ステップＳ３００では、画素取得部２００は、ＲＡＭ１０１に格納されている入力画像から未だ選択していない画素のうち１つを選択画素として選択し、該選択画素を該ＲＡＭ１０１から取得する。入力画像からの画素の選択順については、例えば、図４に示す如く、先ず入力画像４００の左上隅の画素を選択し、以降、矢印で示す如く、同行の画素を左から順に選択する。そして右端の画素を選択した後は、１つ下の行の左端の画素を選択し、以降、矢印で示す如く、同行の画素を左から順に選択する。このようにして入力画像４００における各行の画素を左から順に選択する。

ステップＳ３０１では、画素値補正部２０２は、ステップＳ３００で取得した選択画素の画素値に、拡散フィルタ部２０８から出力された「該選択画素に先行する画素から拡散された拡散誤差」を加算することで、該選択画素の画素値を更新（補正）する。

ステップＳ３０２では、量子化部２０３は、ステップＳ３０１で補正された選択画素の画素値（８ビット）を量子化し、該画素値（８ビット）を「２ビットで表される画素値」（量子化代表値）に階調変換する。

量子化部２０３による階調変換の一例を図５を用いて説明する。図５において横軸は選択画素の画素値（入力画素値）、縦軸は階調変換後の画素値（量子化代表値）を示す。量子化部２０３は、閾値Ｔｈ０（＝４３）、閾値Ｔｈ１（＝１２８）、閾値Ｔｈ２（＝２１３）を有し、選択画素の画素値と閾値Ｔｈ０，Ｔｈ１，Ｔｈ２とに基づき、該選択画素の画素値に対する階調変換の結果である量子化代表値を特定する。例えば、量子化部２０３は、選択画素の画素値が「０以上Ｔｈ０未満の範囲」に属する場合には、該選択画素の画素値に対応する量子化代表値「０」を特定する。また例えば、量子化部２０３は、選択画素の画素値が「Ｔｈ０以上Ｔｈ１未満の範囲」に属する場合には、該選択画素の画素値に対応する量子化代表値「１」を特定する。また例えば、量子化部２０３は、選択画素の画素値が「Ｔｈ１以上Ｔｈ２未満の範囲」に属する場合には、該選択画素の画素値に対応する量子化代表値「２」を特定する。また例えば、量子化部２０３は、選択画素の画素値が「Ｔｈ２以上２５５以下の範囲」に属する場合には、該選択画素の画素値に対応する量子化代表値「３」を特定する。なお、閾値は、選択画素や画素値補正部２０２によって補正された画素毎に異なる値を設定してもよい。

ステップＳ３０３では、判定部２０１は、入力画像における選択画素とその周囲の画素のそれぞれの画素値に基づいて、該選択画素におけるエッジの強度を表すエッジ度を求める。エッジ度はラプラシアンフィルタなどの公知技術により求めることができる。

本実施形態では、図６（ａ）に示す如く、入力画像における選択画素を注目画素とし、該注目画素と、該注目画素に隣接する８画素と、から成る３画素×３画素の画素群６０１に対して、３×３のラプラシアンフィルタ６０２を用いたフィルタ演算を行う。そしてフィルタ演算の結果に対応するエッジ度が、５つのエッジ度「−２、−１，０，１，２」の何れであるのかを判定する。

フィルタ演算の結果に対応するエッジ度が、５つのエッジ度「−２、−１，０，１，２」の何れであるのかを判定する方法の一例を図６（ｂ）に示す。図６（ｂ）において横軸はフィルタ演算の結果（ラプラシアンフィルタ結果）、縦軸はエッジ度を示す。

判定部２０１は、フィルタ演算の結果が「「−２５５」以上「−９６」以下の範囲」に属する場合には、該フィルタ演算の結果に対応するエッジ度は「−２」（強い負のエッジ）であると判定する。

判定部２０１は、フィルタ演算の結果が「「−９６」よりも大きく「−３２」以下の範囲」に属する場合には、該フィルタ演算の結果に対応するエッジ度は「−１」（弱い負のエッジ）であると判定する。

判定部２０１は、フィルタ演算の結果が「「−３２」よりも大きく「３２」未満の範囲」に属する場合には、該フィルタ演算の結果に対応するエッジ度は「０」（非エッジ）であると判定する。

判定部２０１は、フィルタ演算の結果が「「３２」以上「９６」未満の範囲」に属する場合には、該フィルタ演算の結果に対応するエッジ度は「１」（弱い正のエッジ）であると判定する。

判定部２０１は、フィルタ演算の結果が「「９６」以上「２５５」以下の範囲」に属する場合には、該フィルタ演算の結果に対応するエッジ度は「２」（強い正のエッジ）であると判定する。

図４に示した入力画像４００内における８画素×８画素の画像領域４０１内の各画素について求めたエッジ度を図６（ｃ）に示す。但し、ラプラシアンフィルタを施すために必要な領域外の画素は適宜補って算出している。画像領域４０１の左側にある直線状の高い画素値に対して、強い正のエッジ（エッジ度２）であると判定され、その周辺は弱い負のエッジ（エッジ度−１）であると判定されている。また、画像領域４０１の右側にある比較的滑らかに変化する画素値分布に対し、いくつかの画素においては弱い正のエッジ（エッジ度１）であると判定されている。

ステップＳ３０４では、エッジ強調部２０４は、ステップＳ３０２で求めた選択画素の量子化代表値に、該選択画素についてステップＳ３０３で求めたエッジ度を加算することで、該選択画素に対するエッジ強調処理を行う。つまり、選択画素が強い正のエッジの場合には、該選択画素の量子化代表値に「２」を加え、選択画素が弱い正のエッジの場合には、該選択画素の量子化代表値に「１」を加える。一方、選択画素が強い負のエッジの場合には、該選択画素の量子化代表値に「−２」を加え、選択画素が弱い負のエッジの場合には、該選択画素の量子化代表値に「−１」を加える。

ステップＳ３０５では、出力値生成部２０９は、ステップＳ３０４においてエッジ強調された選択画素の量子化代表値が０よりも小さい若しくは３よりも大きい場合には、該量子化代表値を０〜３の範囲に収める補正処理を行う。本実施形態では、ステップＳ３０４におけるエッジ強調処理により、量子化代表値が０〜３の範囲を超える可能性がある。そのため、出力値生成部２０９は、０よりも小さな量子化代表値については０に変更して出力し、３よりも大きな量子化代表値については３に変更して出力し、０以上３以下の量子化代表値についてはそのまま出力する。

ステップＳ３０６では、画素出力部２１０は、出力値生成部２０９から出力された選択画素の量子化代表値を、「出力画像において該選択画素に対応する画素（出力画素）の画素値」として出力する。画素出力部２１０による量子化代表値の出力先は特定の出力先に限らない。例えば、画素出力部２１０は、量子化代表値をＲＡＭ１０１や外部記憶装置１０７に対して出力してもよいし、Ｉ／Ｆ部１０６を介して外部（サーバ装置や印刷装置等）に対して出力してもよい。

ステップＳ３０７では、調整部２０５は、ステップＳ３０４においてエッジ強調された選択画素の量子化代表値に対し、該選択画素におけるエッジ度が下がるような調整処理を行う。

本実施形態では、ステップＳ３０４において、エッジ度に基づいて量子化代表値の補正が施されている。このとき、強い正のエッジと判定された画素の量子化代表値には「＋２」を加算しており、強い負のエッジと判定された画素の量子化代表値には「−２」を加算している。これらの強いエッジ度が弱まるように、強い正のエッジと判定された画素の量子化代表値には「−１」を加算し、強い負のエッジと判定された画素の量子化代表値には「＋１」を加算する。なお、強い正のエッジと判定された画素や弱い正のエッジと判定された画素の量子化代表値には「＋１」を加算し、強い負のエッジと判定された画素や弱い負のエッジと判定された画素の量子化代表値には「−１」を加算するようにしても、等価な量子化代表値を生成することができる。

本実施形態で説明する誤差拡散処理では、エッジ強調された量子化代表値と、量子化前の画素値と、の誤差をキャンセルするように未選択画素（未処理画像）を補正する。そのため、エッジ強調された画素とその周囲画素において、入力画像の階調は維持しつつ、かつエッジが補正された出力画像を得ることができる。一方、エッジ強調された画素で発生する誤差が大きい場合、その大きな誤差をキャンセルすることができる未処理画素の数が増加し、広範囲にわたってエッジ強調された画素の影響を受けることになる。これがエッジ強調の過補正と視認されることがあり好ましくない。本実施形態では、エッジ度が大きい場合に誤差が大きくなり過ぎないように、エッジ度に応じてエッジ強調した量子化代表値を修正することで、誤差生成時の量子化代表値を生成する。これにより、エッジ画素とその周辺画素とが自然な見た目でエッジ強調された出力画像を得ることができる。

ステップＳ３０８では、逆量子化部２０６は、ステップＳ３０７において調整処理を行った選択画素の量子化代表値を逆量子化（ステップＳ３０２において行った量子化に対応する逆量子化）して、８ビットの画素値を生成する。

本実施形態では、ステップＳ３０７において調整処理を行った量子化代表値は−１〜４の範囲にあるため、該量子化代表値を０〜２５５の範囲において対応する値に変換する。「−１」および「４」に関しては、０〜２５５の範囲を超えるが、値の大きさに比例するように階調数を拡張すると、図７に示すように変換することができる。図７において横軸は量子化代表値、縦軸は該量子化代表値に対する逆量子化結果である逆量子化値、を示す。

ステップＳ３０７において調整処理を行った量子化代表値が「−１」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「−８５」を取得する。

ステップＳ３０７において調整処理を行った量子化代表値が「０」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「０」を取得する。

ステップＳ３０７において調整処理を行った量子化代表値が「１」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「８５」を取得する。

ステップＳ３０７において調整処理を行った量子化代表値が「２」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「１７０」を取得する。

ステップＳ３０７において調整処理を行った量子化代表値が「３」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「２５５」を取得する。

ステップＳ３０７において調整処理を行った量子化代表値が「４」の場合、逆量子化部２０６は、該量子化代表値に対する逆量子化の結果である画素値として「３４０」を取得する。

ステップＳ３０９では、誤差生成部２０７は、ステップＳ３０８における逆量子化で得られた選択画素の画素値と、ステップＳ３０１で補正した選択画素の画素値と、の差分を「選択画素における量子化誤差」として求める。

ステップＳ３１０では、拡散フィルタ部２０８は、ステップＳ３０９で求めた量子化誤差と、拡散フィルタと、を用いて、選択画素の周囲の未選択画素に拡散する拡散誤差を求める。

本実施形態では、拡散フィルタとして、図８に示すものを用いる。ステップＳ３０９で求めた量子化誤差Ｅに図８の拡散フィルタを適用することで、選択画素の右側に隣接する画素、選択画素の左下に隣接する画素、選択画素の下側に隣接する画素、選択画素の右下に隣接する画素のそれぞれに拡散する拡散誤差を求めることができる。選択画素の右側に隣接する画素に拡散する拡散誤差は、量子化誤差Ｅ×（７／１６）となり、選択画素の左下に隣接する画素に拡散する拡散誤差は、量子化誤差Ｅ×（３／１６）となる。また、選択画素の下側に隣接する画素に拡散する拡散誤差は、量子化誤差Ｅ×（５／１６）となり、選択画素の右下に隣接する画素に拡散する拡散誤差は、量子化誤差Ｅ×（１／１６）となる。

なお、選択画素に拡散される拡散誤差は、選択画素に先行する画素の処理時に求めてもよいが、選択画素に先行する画素の処理時には量子化誤差を求めておき、選択画素の処理時に該量子化誤差から該選択画素に拡散する拡散誤差を求めてもよい。

ステップＳ３１１では、画素取得部２００は、入力画像における全ての画素を選択画素として選択したか否かを判断する。この判断の結果、入力画像における全ての画素を選択画素として選択した場合には、図３のフローチャートに従った処理は終了する。一方、入力画像において未だ選択画素として選択していない画素が残っている場合には、処理はステップＳ３００に戻る。

入力画像に対して図３のフローチャートに従った処理を行うことで得られる出力画像の各画素の画素値のうち、画像領域４０１に対応する画像領域９０１内の各画素の画素値を図９に示す。図９に示す如く、画像領域４０１内の左側の細線も、右側の滑らかに変化する領域も好適に表現されていることが分かる。

本実施形態では、入力画像における注目画素の画素値に、該注目画素に対して拡散された誤差を加算し、該加算後の画素値を量子化し、該量子化後の画素値に対してエッジ強調を行った強調画素値を求め、該強調画素値に基づいて出力画素の画素値を求める。そして、該強調画素値に基づく逆量子化結果と、入力画像における注目画素の画素値に上記誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求める。

このように、本実施形態によれば、エッジ強調を行った画素とその周辺の画素とにおいて適切な処理が可能となり、かつ、安定した出力画像（ハーフトーン画像）を得ることができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、各画素が複数の色により構成される入力画像において、先行する色の処理結果を参照しつつ強調処理を施しながら注目色を処理する。

本実施形態に係る画像処理装置の機能構成例を、図１０のブロック図に示す。このような構成を有する画像処理装置の動作について、図１３のフローチャートに従って説明する。

ステップＳ１３０１では、閾値取得部２１３は、複数の閾値を要素として有するマトリクス（閾値マトリクス）をＲＡＭ１０１や外部記憶装置１０７から取得し、該取得した閾値マトリクスを入力画像上の各位置に、互いに重ならないように配置する。配置した閾値マトリクスにおける各要素（閾値）は、該要素（閾値）と重なる画素位置に対して適用される。

ステップＳ１３０２では、判定部２１１は、ＲＡＭ１０１に格納されている入力画像を構成する各画素のうち、強調処理を行う対象となる対象画素を特定する。入力画像を構成する各画素から強調処理を行う対象となる対象画素を特定するための方法には様々な方法があり、如何なる方法を採用しても良い。

例えば、判定部２１１は、入力画像における各画素の特徴量（明度、勾配、エッジ量、動き量などの画像に関連した定量値）を取得する。そして判定部２１１は、入力画像における規定領域ごとに次のような処理を行うことで、該規定領域において強調処理を行う対象画素を特定する。先ず判定部２１１は、規定領域を構成する画素のうち特徴量が規定値以上の画素を候補画素として特定し、該特定したそれぞれの候補画素について、該候補画素の画素位置と重なっている閾値マトリクスの要素（閾値）を特定する。そして判定部２１１は、該特定したそれぞれの要素（閾値）のうち最も小さい要素（閾値）に対応する画素位置の候補画素を、強調処理を行う対象画素として特定する。

このようにして特定した対象画素は、強調処理を適用しなくても、後述する処理後の画素値が大きくなりやすい画素である。従って、強調処理の結果、後述の処理後の画素値が大きくなっても、平坦部におけるパターンと比較して目立ちにくいため、このような方法でもって特定した対象画素を強調処理の対象とすることは有効である。

なお、入力画像における規定領域は特定の領域に限らず、例えば、入力画像において空、建物、人、自動車、等の被写体ごとの領域であってもよいし、入力画像を複数の矩形領域に分割したことで得られるそれぞれの矩形領域であってもよい。

ステップＳ１３０３では、画素取得部２００は、ＲＡＭ１０１に格納されている入力画像から未だ選択していない画素のうち１つを選択画素として選択し、該選択画素の複数色の画素値のうち未選択の色（選択色）の画素値を該ＲＡＭ１０１から取得する。

ステップＳ１３０４では、分割部２１２は、図１１に示す如く、ステップＳ１３０３で取得した８ビットの画素値を上位２ビットのビット列で表される基準量子化値と、下位６ビットのビット列で表される比較画素値と、に分割する。

ステップＳ１３０５では、比較部２１５は、ステップＳ１３０４における分割で取得した比較画素値と、閾値補正部２１４から供給された閾値と、の大小比較を行う。そしてこの大小比較の結果、比較画素値が閾値よりも大きい場合、比較部２１５は、該比較画素値の階調数変換の結果として、ステップＳ１３０３で取得した８ビットの画素値のビット数よりも小さいビット数を有する中間値（比較画素値の階調数よりも小さい階調数の中間値）「１」を出力する。一方、この大小比較の結果、比較画素値が閾値以下の場合、比較部２１５は、該比較画素値の階調数変換の結果として、ステップＳ１３０３で取得した８ビットの画素値のビット数よりも小さいビット数を有する中間値（比較画素値の階調数よりも小さい階調数の中間値）「０」を出力する。

ステップＳ１３０６で強調処理部２１６は、ステップＳ１３０３で選択した選択画素が、ステップＳ１３０２で「強調処理を行う対象画素」として特定された画素である場合、ステップＳ１３０５で比較部２１５から出力された中間値に対して強調処理を行う。中間値に対する強調処理には様々な処理が考えられるが、本実施形態では、中間値に対する強調処理では、該中間値に対して「１」を加える。

ステップＳ１３０７では、出力値生成部２０９ａは、ステップＳ１３０６において強調処理が施された中間値と、ステップＳ１３０４における分割で取得した基準量子化値と、の合計値（出力値）を求める。この合計値は、「入力画像に対するハーフトーン処理の結果である出力画像において、上記の選択画素に対応する画素の、選択色の画素値」として出力するのであるが、出力する値は２ビットである。そのため、合計値が２ビットを超える場合、すなわち４以上になる場合には、出力値生成部２０９ａは、４以上となった合計値を２ビットの最大数である「３」に変更する。

一方、ステップＳ１３０８では、出力値生成部２０９ｂは、ステップＳ１３０５で比較部２１５から出力された中間値と、ステップＳ１３０４における分割で取得した基準量子化値と、の合計値（出力値）を求める。なお、ステップＳ１３０７と同様、合計値が２ビットを超える場合、すなわち４以上になる場合には、出力値生成部２０９ｂは、４以上となった合計値を２ビットの最大数である「３」に変更する。

ステップＳ１３０９では、選択部２１７は、ステップＳ１３０７において出力値生成部２０９ａが求めた出力値（第１出力値）、ステップＳ１３０８において出力値生成部２０９ｂが求めた出力値（第２出力値）、のうちいずれか一方を出力する。なお、強調処理を行う対象画素以外の画素については第２出力値を出力することになる。

選択部２１７が第１出力値を出力したということは、「選択画素に対応する出力画像の画素の選択色の画素値」として強調処理が施された画素値を出力したことになる。一方、選択部２１７が第２出力値を出力したということは、「選択画素に対応する出力画像の画素の選択色の画素値」として強調処理が施されていない画素値を出力したことになる。このように、選択部２１７が出力する出力値を切り替えることで、色単位で、強調処理が施された画素値を出力するのか、それとも強調処理が施されていない画素値を出力するのか、を切り替えることができる。

そして、画素出力部２１０は、選択部２１７が出力した出力値を出力する。本実施形態でも第１の実施形態と同様、画素出力部２１０による出力値の出力先は特定の出力先に限らない。

ステップＳ１３１０では、閾値補正部２１４は、選択画素の画素位置に対応する閾値マトリクスにおける要素（閾値）を補正した補正閾値を、「次のステップＳ１３０３で取得される選択画素の画素値（選択画素について、選択色の画素値の次に取得される次選択色の画素値）から分割された比較画素値との大小比較（ステップＳ１３０５）に用いられる閾値」として求め、該求めた補正閾値を比較部２１５に供給する。

閾値補正部２１４は、出力値生成部２０９ｂが求めた第２出力値を参照値として取得し、該取得した参照値を用いて補正閾値を求める。選択画素の各色に対応する閾値について図１２を用いて説明する。

閾値補正部２１４は（遅くともステップＳ１３０５までに）、選択画素について最初に取得した色（１色目）の画素値から分割された比較画素値との大小比較に用いる閾値として、「閾値取得部２１３が取得した閾値マトリクスにおいて、該選択画素に対応する閾値θ１」を比較部２１５に供給する。これにより比較部２１５は、選択画素の１色目の画素値から分割された比較画素値と補正閾値θ１との大小比較を行う。

そして閾値補正部２１４は、選択画素の１色目の画素値に基づいて求めた参照値を取得すると、上記のθ１を該参照値を用いて補正した補正閾値θ２を、「選択画素について２番目に取得する色（２色目）の画素値から分割される比較画素値との大小比較に用いる閾値」として求める。θ２は、θ２＝θ１＋（選択画素の１色目の画素値に基づいて取得した参照値）×オフセット」を計算することで求めることができる。そして閾値補正部２１４は、このようにして求めた補正閾値θ２を比較部２１５に供給する。これにより比較部２１５は、選択画素の２色目の画素値から分割された比較画素値と補正閾値θ２との大小比較を行う。

そして閾値補正部２１４は、選択画素の２色目の画素値に基づいて求めた参照値を取得すると、上記のθ２を該参照値を用いて補正した補正閾値θ３を、「選択画素について３番目に取得する色（３色目）の画素値から分割される比較画素値との大小比較に用いる閾値」として求める。θ３は、θ３＝θ２＋（選択画素の２色目の画素値に基づいて取得した参照値）×オフセット」を計算することで求めることができる。そして閾値補正部２１４は、このようにして求めた補正閾値θ３を比較部２１５に供給する。これにより比較部２１５は、選択画素の３色目の画素値から分割された比較画素値と補正閾値θ３との大小比較を行う。

そして閾値補正部２１４は、選択画素の３色目の画素値に基づいて求めた参照値を取得すると、上記のθ３を該参照値を用いて補正した補正閾値θ４を、「選択画素について４番目に取得する色（４色目）の画素値から分割される比較画素値との大小比較に用いる閾値」として求める。θ４は、θ４＝θ３＋（選択画素の３色目の画素値に基づいて取得した参照値）×オフセット」を計算することで求めることができる。そして閾値補正部２１４は、このようにして求めた補正閾値θ４を比較部２１５に供給する。これにより比較部２１５は、選択画素の４色目の画素値から分割された比較画素値と補正閾値θ４との大小比較を行う。

このように、先行する色に対応する処理結果を受けてそれぞれの色に対応する補正閾値を求めることで、同一の閾値により全色の画素が等確率で同じ比較結果になることを防止する。

なお、補正閾値が閾値レンジを超える場合には、補正閾値をｍｏｄ（補正閾値、閾値レンジ）とする。ここで、ｍｏｄ（ａ、ｂ）は、ａをｂで割った余りを返す関数である。これにより、先行色で大きな値が出力される場合、次の色は比較部２１５で先行色とは異なる判定がされやすくなる。これにより、出力される量子化結果が重なりづらくなることで、出力画像全体としてざらつきが目立ちにくい出力画像を得ることができる。

仮に先行色の第１出力値を参照して補正閾値を求めた場合、第２出力値よりも大きな第１出力値によって、後続色の第１出力値、第２出力値のいずれにおいても、小さな結果となる可能性がある。この場合、強調画素の出力値は、先行色においては大きな値となり、後続色は比較的小さな値が出力される可能性があり、カラーバランスを崩す要因となる。従って、強調処理が施された第１出力値を参照することは好ましくなく、強調処理を施していない第２出力値を参照することが好ましい。

ステップＳ１３１１では、画素取得部２００は、選択画素における全ての色の画素値を取得したか否かを判断する。このような判断の結果、選択画素における全ての色の画素値を取得した場合には、処理はステップＳ１３１２に進む。一方、このような判断の結果、選択画素においてまだ取得していない色の画素値が残っている場合には、処理はステップＳ１３０３に戻り、画素取得部２００は、該選択画素の複数色の画素値のうち未選択の色（選択色）の画素値を該ＲＡＭ１０１から取得する。

ステップＳ１３１２では、画素取得部２００は、入力画像における全ての画素を選択画素として選択したか否かを判断する。このような判断の結果、入力画像における全ての画素を選択画素として選択した場合には、図１３のフローチャートに従った処理は終了する。一方、このような判断の結果、入力画像において未だ選択画素として選択していない画素が残っている場合には、処理はステップＳ１３０３に戻る。この場合、ステップＳ１３０３では画素取得部２００は、ＲＡＭ１０１に格納されている入力画像から未だ選択していない画素のうち１つを選択画素として選択し、該選択画素の複数色の画素値のうち未選択の色（選択色）の画素値を該ＲＡＭ１０１から取得する。

なお、本実施形態は、画像処理装置をパイプライン回路として構成する際に回路性能を向上させることができる。パイプライン回路のスループットは、フィードバックループ上に存在する回路のロジック段数がボトルネックとなる。これは、あるデータの処理が参照関係にあるデータの処理の完了後でないと開始できないことに由来する。本実施形態では、同様の動作を行う出力値生成部２０９ａおよび出力値生成部２０９ｂを有することで、フィードバックループを構成する階調数変換部（閾値補正部２１４及び比較部２１５）から出力値生成部２０９ｂの間に強調処理部２１６を含めない。これにより、フィードバックループ内の回路上に余分なロジック段数が増加することがないため、パイプライン回路のスループットを最大限向上させることができる。

本実施形態では、入力画像における注目画素の第１色の画素値の下位ビットと閾値とに基づいて、該画素値よりもビット数が小さい中間値を取得し、該中間値と該画素値の上位ビットとに基づく第１出力画素値を取得する。そして、該中間値に対して強調処理を行った結果と該画素値の上位ビットとに基づく第２出力画素値を取得し、該第１出力画素値および該第２出力画素値の何れかを出力する。そして、第１出力画素値に基づいて閾値を補正することで、注目画素の第２色の画素値について用いる閾値を求める。

このように、本実施形態によれば、画素が複数の色により構成される入力画像において、先行色の画素の処理結果を参照しつつ所定画素を強調しながら後続の注目色の画素を処理することで、好適なハーフトーン画像を得ることが可能となる。

［第３の実施形態］
第１の実施形態では、エッジ判定画素を強調しながら誤差拡散処理する例を示した。これにより、エッジ画素の強調処理も、その周囲画素における疑似的な階調表現も可能となる。また第２の実施形態では、先行色の処理結果として、強調処理実施・非実施の２通りの処理結果を生成し、後続色の処理には強調処理非実施の処理結果を閾値に反映させて画素値と比較する例を示した。これにより、各色の処理結果が異なることで、ざらつきが目立ちにくくなるとともに、各色単体で見ると強調処理が実施された好適な出力画像を得ることができる。但し、強調処理は、例示したものに限らず、例えば、特開２０１６−１５５９８号公報に開示されているような細線を補正するような処理であってもよい。また、第２の実施形態における画素値と閾値の比較方法は、画素単位で比較することに限らず、例えば、特開２０１６−２１７３５号公報に開示されているように領域単位で比較する方法でもよい。その場合、先行色の処理結果も領域単位で参照され、各画素に対応する閾値に対して先行色の各処理結果が反映される。

また、図２や図１０に示した機能部はハードウェアで実装してもよいし、ソフトウェア（コンピュータプログラム）で実装してもよい。なお、図２や図１０の機能部をコンピュータプログラムで実装する場合、ＣＰＵ１００が該機能部に対応するコンピュータプログラムを実行することで、対応する機能部の機能が実現される。なお、上記では、図２や図１０の機能部を処理の主体として説明しているが、該機能部をコンピュータプログラムで実装する場合、ＣＰＵ１００が該機能部に対応するコンピュータプログラムを実行することで、該機能部の機能を実現させている。

また、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２００：画素取得部 ２０１：判定部 ２０２：画素値補正部 ２０３：量子化部 ２０４：エッジ強調部 ２０５：調整部 ２０６：逆量子化部 ２０７：誤差生成部 ２０８：拡散フィルタ部 ２０９：出力値生成部 ２１０：画素出力部

Claims (12)

1. 入力画像における注目画素の画素値に、該注目画素に対して拡散された誤差を加算し、該加算後の画素値を量子化し、該量子化後の画素値に対してエッジ強調を行った強調画素値を求め、該強調画素値に基づいて出力画素の画素値を求める処理手段と、
   前記強調画素値に基づく逆量子化結果と、前記入力画像における注目画素の画素値に前記誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求める拡散手段と
   を備えることを特徴とする画像処理装置。
2. 前記拡散手段は、前記強調画素値からエッジの強度を下げた画素値を求め、該求めた画素値の逆量子化結果と、前記入力画像における注目画素の画素値に前記誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求めることを特徴とする請求項１に記載の画像処理装置。
3. 入力画像における注目画素の第１色の画素値の下位ビットと閾値とに基づいて、該画素値よりもビット数が小さい中間値を取得する処理手段と、
   前記中間値と前記画素値の上位ビットとに基づく第１出力画素値を取得する第１取得手段と、
   前記中間値に対して強調処理を行った結果と前記画素値の上位ビットとに基づく第２出力画素値を取得する第２取得手段と、
   前記第１出力画素値および前記第２出力画素値の何れかを出力する出力手段と、
   前記第１出力画素値に基づいて前記閾値を補正することで、前記注目画素の第２色の画素値について前記処理手段で用いる閾値を求める補正手段と
   を備えることを特徴とする画像処理装置。
4. 前記処理手段は、前記下位ビットと前記閾値との大小比較の結果に応じた中間値を取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１取得手段は、前記中間値と前記画素値の上位ビットとの和を前記第１出力画素値として取得することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第２取得手段は、前記注目画素が強調処理を行う対象となる対象画素である場合には、前記中間値に対して強調処理を行った結果と前記画素値の上位ビットとに基づく第２出力画素値を取得することを特徴とする請求項３ないし５の何れか１項に記載の画像処理装置。
7. 前記第２取得手段は、前記入力画像における規定領域を構成する画素のうち、特徴量が規定値以上であり且つ対応する閾値が該規定領域における各画素に対応する閾値の中で最も小さい画素を、強調処理を行う対象となる対象画素とすることを特徴とする請求項６に記載の画像処理装置。
8. 前記出力手段は、前記第１出力画素値および前記第２出力画素値の何れかを、出力画像において前記注目画素に対応する画素の画素値として出力することを特徴とする請求項３ないし７のいずれか１項に記載の画像処理装置。
9. 前記補正手段は、前記注目画素の第１色の画素値について前記処理手段で用いる閾値に（前記第１出力画素値×オフセット）を加えた結果を、前記注目画素の第２色の画素値について前記処理手段で用いる閾値として求めることを特徴とする請求項３ないし８の何れか１項に記載の画像処理装置。
10. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の処理手段が、入力画像における注目画素の画素値に、該注目画素に対して拡散された誤差を加算し、該加算後の画素値を量子化し、該量子化後の画素値に対してエッジ強調を行った強調画素値を求め、該強調画素値に基づいて出力画素の画素値を求める処理工程と、
    前記画像処理装置の拡散手段が、前記強調画素値に基づく逆量子化結果と、前記入力画像における注目画素の画素値に前記誤差を加算した結果と、の差分に基づいて、他の画素に拡散する誤差を求める拡散工程と
    を備えることを特徴とする画像処理方法。
11. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の処理手段が、入力画像における注目画素の第１色の画素値の下位ビットと閾値とに基づいて、該画素値よりもビット数が小さい中間値を取得する処理工程と、
    前記画像処理装置の第１取得手段が、前記中間値と前記画素値の上位ビットとに基づく第１出力画素値を取得する第１取得工程と、
    前記画像処理装置の第２取得手段が、前記中間値に対して強調処理を行った結果と前記画素値の上位ビットとに基づく第２出力画素値を取得する第２取得工程と、
    前記画像処理装置の出力手段が、前記第１出力画素値および前記第２出力画素値の何れかを出力する出力工程と、
    前記画像処理装置の補正手段が、前記第１出力画素値に基づいて前記閾値を補正することで、前記注目画素の第２色の画素値について前記処理工程で用いる閾値を求める補正工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１ないし９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images