JP2023163897A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】手書き文字が含まれるモノクロ画像を適切にカラー画像にする画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像形成装置１において、原稿に基づいた画像を入力する入力部と、制御部と、画像に所定の変換を行う画像変換部（グレースケール（輝度）変換部）を有する文字画像生成部と、を備える。制御部は、画像に含まれる文字のうち、手書き文字に対しては、画像に基づいて第１の方法により出力色を割り当て、手書き文字以外の文字に対しては、画像変換部により所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、画像を出力させる。
【選択図】図２

Description

本開示は、画像処理装置等に関する。

従来より、カラー原稿やファイルを出力する際、コスト削減等の理由により、モノクロコピーやモノクロプリントがされ、モノクロ原稿として出力される場合がある。

カラー原稿やファイルがモノクロ原稿として出力されることにより、色相や彩度といった色味に関する情報（色情報）が失われる。失われた色情報について、色情報を再現させるための技術が提案されている。例えば、カラー画像である原画像から生成されたモノクロ画像である処理対象画像の色情報を、着色支援情報（処理対象画像の類似画像）に基づいて復元する画像処理装置が提案されている（例えば、特許文献１参照）。また、モノクロ画像データにより形成されるモノクロ画像中の種々の領域を分類し、領域判別手段の分類結果に基づいてグレー濃度領域を判別し、グレー領域判別手段により判別されたグレー濃度領域の濃度値に応じて再現色データを決定し、当該再現色データに応じてモノクロ画像をカラー画像に変換する画像処理装置が提案されている（例えば、特許文献２参照）。

特開２０１７－１６３３６３号公報 特開２０１０－１８３５１１号公報

ここで、モノクロ原稿として出力された原稿に対して、ペン等により加筆される場合がある。ペン等により加筆されたモノクロ原稿の画像を、カラー画像に適切に変換することについて、上述した特許文献１や特許文献２等の従来技術では考慮されていなかった。

上述した課題に鑑み、本開示は、手書き文字が含まれるモノクロ画像を適切にカラー画像にすることが可能な画像処理装置等を提供することを目的とする。

上述した課題を解決するため、本開示の画像処理装置は、原稿に基づいた画像を入力する入力部と、制御部と、前記画像に所定の変換を行う画像変換部と、を備え、前記制御部は、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外の文字に対しては、前記画像変換部により所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力することを特徴とする。

また、本開示の画像処理方法は、原稿に基づいた画像を入力する入力ステップと、前記画像に所定の変換を行う画像変換ステップと、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換ステップにより所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力する出力ステップと、を含むことを特徴とする。

また、本開示のプログラムは、コンピュータに、原稿に基づいた画像を入力する入力機能と、前記画像に所定の変換を行う画像変換機能と、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換機能により所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力する出力機能と、を実現させることを特徴とする。

本開示によれば、手書き文字が含まれるモノクロ画像を適切にカラー画像にすることが可能な画像処理装置等を提供することが可能となる。

第１実施形態における画像形成装置の外観斜視図である。 第１実施形態における画像形成装置の機能構成を示すブロック図である。 第１実施形態における出力値情報のデータ構造の例を示す図である。 第１実施形態における文字画像生成部の機能構成を示すブロック図である。 第１実施形態におけるメイン処理の流れを示すフロー図である。 第１実施形態における文字画像生成処理の流れを示すフロー図である。 第１実施形態における文字出力色変換処理の流れを示すフロー図である。 第１実施形態における動作例を示す図である。 第２実施形態における文字画像生成部の機能構成を示すブロック図である。 第２実施形態における文字画像生成処理の流れを示すフロー図である。 第３実施形態における文字画像生成処理の流れを示すフロー図である。 第４実施形態における文字画像生成部の機能構成を示すブロック図である。 第４実施形態における文字画像生成処理の流れを示すフロー図である。 第５実施形態における画像読取装置の機能構成を示すブロック図である。 第５実施形態におけるメイン処理の流れを示すフロー図である。

以下、図面を参照して、本開示を実施するための一実施形態について説明する。なお、以下の実施形態は、本開示を説明するための一例であり、特許請求の範囲に記載した発明の技術的範囲が、以下の記載に限定されるものではない。

［１．第１実施形態］
はじめに、第１実施形態について説明する。第１実施形態は、本開示の画像処理装置を画像形成装置１に適用した場合について説明する。画像形成装置１は、コピー機能、スキャン機能、文書のプリント機能等を有する画像処理装置であり、一般的に、ＭＦＰ（Multi-Function Printer/Peripheral）やデジタルカラー複合機と呼ばれる。画像形成装置１は、スキャンを行うことで画像データを生成したり、画像データに基づく画像（モノクロ画像もしくはカラー画像）を形成したりする（プリントする）ことができる装置である。

［１．１ 機能構成］
本実施形態の画像形成装置１の機能構成について、図１及び図２を参照して説明する。図１は、画像形成装置１の外観斜視図であり、図２は、画像形成装置１の機能構成を示すブロック図である。

画像形成装置１は、図２に示すように、制御部１０、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０、各種操作を行うための操作パネル５０、記憶部６０を備えて構成される。

制御部１０は、画像形成装置１が行う各種処理を制御し、各種処理に応じて、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０、操作パネル５０、記憶部６０を制御する。カラー画像入力部２０は、原稿を読み取ることにより得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号（ＲＧＢ信号）の画像データを、カラー画像処理部３０に出力する。カラー画像処理部３０は画像データに対して所定の処理を行い、処理後の画像データに基づくＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号を、カラー画像出力部４０に出力する。カラー画像出力部４０は、デジタルカラー信号に基づく画像を出力する。

制御部１０は、画像形成装置１の全体を制御する。制御部１０は、記憶部６０に記憶された各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、１又は複数の演算装置（ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等）により構成される。すなわち、画像形成装置１が行う各種処理は、制御部１０（ＣＰＵやＤＳＰ）によって制御される。なお、制御部１０は、以下に説明する機能のうち、複数の機能を有するＳｏＣ（System on a Chip）として構成されてもよい。

カラー画像入力部２０は、原稿に基づいた画像を入力する。例えば、カラー画像入力部２０は、原稿の画像（原稿画像）を読み取り、当該原稿画像を読み取ることにより得られたアナログ信号の画像データをカラー画像処理部３０に対して出力することで、当該原稿画像を入力することができる。カラー画像入力部２０は、例えば、ＣＣＤ（Charged Coupled Device）やＣＩＳ（Contact Image Sensor）等のイメージセンサによって画像を電気信号に変換し、電気信号を量子化及び符号化する装置を備えたスキャナにより構成される。この場合、カラー画像入力部２０は、原稿に光を照射させ、原稿画像から反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号（画像データ）をカラー画像処理部３０へ出力する。

なお、カラー画像入力部２０は、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に格納された画像データを読み取って当該画像データを入力したり、有線または無線ネットワークを通じて外部の機器から取得した画像データを入力したりしてもよい。

カラー画像処理部３０は、カラー画像入力部２０によって読み取られた原稿画像の画像データを処理し、カラー画像出力部４０に出力する。カラー画像処理部３０の構成については後述する。

カラー画像出力部４０は、カラー画像処理部３０から出力された原稿画像の画像データを出力する。カラー画像出力部４０は、例えば、記録用紙等の記録媒体に対して画像を形成（印刷）する。この場合、カラー画像出力部４０は、電子写真方式を用いたレーザプリンタ等の印刷装置により構成され、図１の給紙トレイ４２から記録用紙を給紙し、記録用紙の表面に画像を形成し、記録用紙を排紙トレイ４４から排紙する。なお、カラー画像出力部４０は、インクジェット方式を用いて画像を出力する印刷装置により構成されてもよい。

操作パネル５０は、画像形成装置１に対する操作を入力したり、各種情報を表示したりする。操作パネル５０は、表示部５２と操作部５４とにより構成される。表示部５２は、液晶ディスプレイや有機ＥＬ（electro-luminescence）ディスプレイ、マイクロＬＥＤディスプレイ等の表示装置により構成される。また、操作部５４は、設定ボタン（物理キー）やテンキーといった入力装置によって構成される。画像形成装置１（制御部１０）は、操作パネル５０により入力された情報に基づいて、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０の動作を制御する。

記憶部６０は、画像形成装置１の動作に必要な各種プログラムや、各種データを記憶する。記憶部６０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。

記憶部６０は、記憶領域として、出力値情報記憶領域６２を確保する。出力値情報記憶領域６２は、原稿画像に含まれるモノクロ（無彩色）の画素の濃度と、その濃度の画素に割り当てる画素値（出力値）とを対応付けた出力値情報を記憶する。画素の濃度は、色の濃さ、輝度、明度等によって表される値であり、本実施形態では、濃度として、画像をグレースケール画像に変換したときの画素の値であるグレースケール値（輝度）を用いる。出力値情報は、例えば、図３に示すように、１又は複数の画素に対するグレースケール（輝度）平均値Ａｖｅの範囲（例えば、「０≦Ａｖｅ＜７０」）と、当該画素に割り当てる出力色番号（例えば、「１」）と、当該出力色番号に対応する出力値（例えば、「Ｒ＝０、Ｇ＝０、Ｂ＝０」）とを含む。

本実施形態では、グレースケール値（輝度）は、例えば、０から２５５までの何れかの値を取るものとする。この場合、グレースケール値が０である画素は黒の画素を示し、グレースケール値が２５５である画素は白の画素を示す。また、出力色は、出力色番号と出力値とにより構成されるとする。出力値は、ＲＧＢ色空間における各色成分の値（Ｒ値、Ｇ値、Ｂ値）を示す。なお、Ｒ値、Ｇ値、Ｂ値は、例えば、０から２５５までの何れかの値を取ることとする。

つづいて、カラー画像処理部３０の機能構成について説明する。カラー画像処理部３０は、Ａ／Ｄ（アナログ／デジタル）変換部３０１、シェーディング補正部３０２、入力階調補正部３０３、領域分離処理部３０４、文字画像生成部３０５、文字出力色変換部３０６、色補正部３０７、黒生成下色除去部３０８、空間フィルタ処理部３０９、出力階調補正部３１０、階調再現処理部３１１を備えて構成される。なお、上述の機能部のうち、１又は複数の機能部については、ＡＳＩＣ（Application Specific Integrated Circuit）等より構成されてもよい。

Ａ／Ｄ変換部３０１は、カラー画像入力部２０から出力されたアナログ信号（ＲＧＢ信号）を、デジタル信号（例えば、１０ビットのデジタル信号）に変換する。また、Ａ／Ｄ変換部３０１は、変換後のＲＧＢ信号（デジタル信号）をシェーディング補正部３０２へ出力する。

シェーディング補正部３０２は、Ａ／Ｄ変換部３０１から出力されたＲＧＢ信号に基づく画像に対して、シェーディング補正を行う。シェーディング補正とは、カラー画像入力部２０の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正をいう。なお、シェーディング補正部３０２は、カラーバランスの調整等を行ってもよい。

また、シェーディング補正部３０２は、補正処理を行うとともに、Ａ／Ｄ変換部３０１から出力されたＲＧＢ信号に基づく画像データを、８ビットの画像データに変換してもよい。なお、１０ビットの画像データから８ビットの画像データへの変換処理は、後述の入力階調補正部３０３で行われてもよい。シェーディング補正部３０２は、補正処理や変換処理を行なった画像データのＲＧＢ信号を入力階調補正部３０３へ出力する。

入力階調補正部３０３は、シェーディング補正部３０２から出力されたＲＧＢ信号に基づく画像に対して、入力階調補正を行う。入力階調補正とは、例えば、下地濃度を除去する処理や、コントラストを調整する処理等の、画質調整処理（入力階調補正処理）をいう。また、入力階調補正部３０３は、入力階調補正の処理後のＲＧＢ信号を領域分離処理部３０４へ出力する。

領域分離処理部３０４は、入力階調補正部３０３から出力された補正後のＲＧＢ信号に基づく画像に対して、領域分離処理を実行する。領域分離処理とは、例えば、入力されたＲＧＢ信号に基づく画像中の各画素を、エッジ領域に含まれる画素、網点領域に含まれる画素、写真領域に含まれる画素、その他領域に含まれる画素等のいずれかに分離する処理である。また、領域分離処理部３０４は、これらの領域が、カラーであるかモノクロであるかを判定するカラー判定を行ってもよい。

また、領域分離処理部３０４は、領域分離結果に基づき、当該領域分離結果を示す領域識別信号を、色補正部３０７、黒生成下色除去部３０８、空間フィルタ処理部３０９及び階調再現処理部３１１へ出力する。領域識別信号は、例えば、ＲＧＢ信号に基づく画像に含まれる各画素が、どの領域に属しているかを示す信号である。

また、領域分離処理部３０４は、入力階調補正部３０３から出力されたＲＧＢ信号を、文字画像生成部３０５のグレースケール（輝度）変換部３５０１及び文字出力色変換部３０６へ出力する。

文字画像生成部３０５は、文字画像を生成する。文字画像とは、原稿画像に含まれるそれぞれの文字の画像に対して、当該画像に含まれるそれぞれの画素に対応する色を割り当てた画像である。

文字画像生成部３０５は、図４に示すように、グレースケール（輝度）変換部３５０１、二値化処理部３５０２、レイアウト解析部３５０３、行切り出し処理部３５０４、文字切り出し処理部３５０５、文字平均輝度算出部３５０６、文字出力値割り当て部３５０７を備えて構成される。

グレースケール（輝度）変換部３５０１は、画像に所定の変換を行う画像変換部であり、本実施形態では、領域分離処理部３０４から出力されたＲＧＢ信号を、グレースケール（輝度）信号に変換する。すなわち、グレースケール（輝度）変換部３５０１は、原稿に基づいた画像である原稿画像に所定の変換（グレースケール変換）を行うことにより、原稿画像をグレースケール画像に変換する。ＲＧＢ信号からグレースケール（輝度）信号への変換は、例えば、当該ＲＧＢ信号に基づく画像の各画素について、以下の式を用いて輝度を示す値に変換することにより行われる。
Ｇｒａｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
なお、図４において、Ｇｒａｙは輝度を示す値、ＲはＲＧＢ信号が示すＲ値、ＧはＲＧＢ信号が示すＧ値、ＢはＲＧＢ信号が示すＢ値をそれぞれ示す。グレースケール（輝度）変換部３５０１は、各画素のＧｒａｙの値を示すグレースケール（輝度）信号を、二値化処理部３５０２と文字平均輝度算出部３５０６とに出力する。

二値化処理部３５０２は、グレースケール（輝度）変換部３５０１から出力されたグレースケール（輝度）信号に基づく画像（グレースケール画像）を二値化処理することで二値化画像に変換する。また、二値化処理部３５０２は、二値化画像に基づく信号（二値信号）を、レイアウト解析部３５０３に出力する。二値信号は、各画素が白の画素であるか黒の画素であるかを示す信号である。なお、二値化画像に基づく信号を、以下の説明では、単に二値化画像と記載する場合がある。

レイアウト解析部３５０３は、二値化処理部３５０２から出力された二値信号に基づく二値化画像のレイアウトを解析し、領域の種類を特定する。例えば、レイアウト解析部３５０３は、二値化画像から、文字エリア（文字領域）、画像（写真や図等）エリア（図形領域）、罫線エリア等のその他の領域に分類する。さらに、レイアウト解析部３５０３は、各文字エリアについて、当該文字エリアの情報（文字エリア情報）を取得する。

ここで、文字エリアは、１又は複数の文字により構成されている可能性が高い領域であり、例えば、エッジ画素を多く含む領域である。文字エリア情報は、その文字エリアの左上の画素の座標と右下の画素の座標を示す情報である。なお、座標とは、画像の左上隅の画素を原点（０，０）とし、原点から注目している画素までに含まれる横方向の画素数をｘ、縦方向の画素数をｙとした場合に、（ｘ，ｙ）と表現したものをいう。レイアウト解析部３５０３は、行切り出し処理部３５０４に、文字エリア情報を出力する。

さらに、レイアウト解析部３５０３は、二値化処理部３５０２から出力された二値信号に基づく二値化画像の各画素について、文字印字画素か非文字印字画素かを判定する。文字印字画素とは、印字された文字を構成する画素であり、非文字印字画素とは、文字印字画素以外の画素である。

例えば、レイアウト解析部３５０３は、二値信号に基づく画像に含まれる画素のうち、以下の２つの条件を両方満たす画素を、文字印字画素と判定する。
（１）黒い画素（二値化黒画素）であること
（２）文字エリアに含まれる画素であること
すなわち、グレースケール画像の二値化画像に含まれる黒い画素である二値化黒画素のうち、文字エリアに含まれる二値化黒画素が、文字印字画素であると判定される。

一方、レイアウト解析部３５０３は、上述した条件の少なくとも一方を満たさない画素を、非文字印字画素と判定する。レイアウト解析部３５０３は、判定結果に基づく信号である文字印字画素信号を、文字平均輝度算出部３５０６に出力する。文字印字画素信号は、各画素が文字印字画素であるか非文字印字画素であるかを示す信号であり、例えば、画素の座標と、当該座標の画素が文字印字画素であるか非文字印字画素であるかを示す情報により構成される。

行切り出し処理部３５０４は、レイアウト解析部３５０３から出力された文字エリア情報に基づき、各文字エリアを１行ごとのエリア（行エリア）に分解して、矩形の形状のエリアとして切り出す行切り出し処理を実行する。また、行切り出し処理部３５０４は、それぞれの行エリアの情報（行エリア情報）を文字切り出し処理部３５０５に出力する。各行エリア情報は、例えば、各行の左上の座標と右下の座標を示す情報である。

文字切り出し処理部３５０５は、行切り出し処理部３５０４から出力された行エリア情報に基づき、各行エリアを、１文字毎（個別文字毎）のエリア（個別文字エリア）に分解して、矩形の形状のエリアとして切り出す文字切り出し処理を実行する。すなわち、個別文字エリアは、画像における、個々の文字を含む領域（エリア）である。また、文字切り出し処理部３５０５は、それぞれの個別文字エリアの情報（個別文字エリア情報）を文字平均輝度算出部３５０６に出力する。各個別文字エリア情報は、例えば、各個別文字の領域（例えば、個別文字に外接する矩形の領域）の左上の座標と右下の座標を示す情報である。

文字平均輝度算出部３５０６は、文字切り出し処理部３５０５から出力された個別文字エリア情報と、レイアウト解析部３５０３から出力された文字印字画素信号とに基づき、個別文字エリア毎に文字平均輝度を算出する。文字平均輝度とは、個別文字エリアに含まれる文字印字画素の輝度の平均値であり、例えば、文字印字画素信号が文字印字画素を示す画素のグレースケール（輝度）信号の平均値である。すなわち、文字平均輝度は、原稿画像のグレースケール画像の二値化黒画素の位置に対応する、グレースケール画像の画素のグレースケール値の平均値（グレースケール平均濃度）である。

文字平均輝度算出部３５０６は、文字平均輝度を算出するために、例えば、以下の処理を行う。
（１）文字平均輝度算出部３５０６は、個別文字エリア情報によって示される個別文字エリア毎に、文字印字画素信号において文字印字画素であると示された画素によって構成される領域（以下、文字印字画素領域という）を特定する。
（２）文字平均輝度算出部３５０６は、（１）において特定した文字印字画素領域に含まれる画素毎の輝度を、グレースケール（輝度）信号に基づき取得する。
（３）文字平均輝度算出部３５０６は、（２）において取得した画素毎の輝度の平均値を算出し、その個別文字エリアの文字平均輝度とする。

また、文字平均輝度算出部３５０６は、文字印字画素信号及び個別文字エリア情報に加えて、個別文字エリア毎の文字平均輝度の情報を、文字出力値割り当て部３５０７に出力する。個別文字エリア毎の文字平均輝度の情報は、例えば、個別文字エリアを特定する情報と当該個別文字エリアの文字平均輝度とを対応付けた情報である。

文字出力値割り当て部３５０７は、各個別文字エリア毎に、その個別文字エリアに含まれる個別文字に対する出力色（出力色番号及びＲＧＢ信号出力値）を割り当てる。すなわち、文字出力値割り当て部３５０７は、文字切り出し処理部３５０５から出力された各個別文字エリア情報及びその文字エリアに対応する文字平均輝度の情報に基づき、画像に含まれる文字毎に出力色を割り当てる（決定する）。

例えば、文字出力値割り当て部３５０７は、個別文字エリア毎に、個別文字エリアの文字平均輝度（グレースケール（輝度）平均値Ａｖｅ）に対応する出力色情報を読み出す。そして、文字出力値割り当て部３５０７は、個別文字エリア毎に、読み出した出力色情報に記憶されている出力色番号及び出力値を、その個別文字エリアの出力色番号及びＲＧＢ信号出力値として決定する。

また、文字出力値割り当て部３５０７は、文字平均輝度算出部３５０６から出力された文字印字画素信号に基づいて、以下の処理により文字画像を生成する。
（１）文字出力値割り当て部３５０７は、個別文字エリア内における文字印字画素領域に含まれる画素（文字印字画素信号が文字印字画素を示す画素）については、当該個別文字エリア内の個別文字に割り当てた出力値の色を出力する。
（２）文字出力値割り当て部３５０７は、非文字印字画素領域の画素については、白色（ＲＧＢ画素値ともに２５５）を出力する。

このようにして、文字出力値割り当て部３５０７は、文字印字画素については決定した出力色の画素に、非文字印字画素は白い画素にした文字画像（ＲＧＢ画像）を生成する。さらに、文字出力値割り当て部３５０７は、生成した文字画像（ＲＧＢ画像）を示す信号と、各個別文字における画素の文字印字画素信号とを、文字出力色変換部３０６へ出力する。また、文字出力値割り当て部３５０７は、文字印字画素信号を、色補正部３０７、黒生成下色除去部３０８、空間フィルタ処理部３０９、階調再現処理部３１１に出力する。

文字出力色変換部３０６は、領域分離処理部３０４から出力されたＲＧＢ信号に基づく画像と、文字画像生成部３０５から出力された文字画像（ＲＧＢ画像）とを、文字画像生成部３０５から出力された文字印字画素信号に基づいて合成する。これにより、文字出力色変換部３０６は、領域分離処理部３０４から出力されたＲＧＢ信号に基づく画像に含まれる文字の出力色を変換する。文字出力色変換部３０６が実行する処理（文字出力色変換処理）については、後述する。

色補正部３０７は、文字出力色変換部３０６から出力されたＲＧＢ信号に基づく画像の色空間をＣＭＹの色空間に変換し、カラー画像出力部４０の特性に合わせた色補正の処理（色補正処理）を行う。例えば、色補正部３０７は、色再現の忠実化のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りをＣＭＹ信号から取り除く処理を行う。なお、色補正部３０７は、領域識別信号や文字印字画素信号に応じて異なる色補正を行ってもよい。また、色補正部３０７は、補正後のＣＭＹ信号を、黒生成下色除去部３０８へ出力する。

黒生成下色除去部３０８は、色補正部３０７から出力されたＣＭＹ信号に対して、ＣＭＹ信号から黒色（Ｋ）信号を生成する黒生成処理と、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理とを行う。この結果、ＣＭＹの３色のデジタル信号は、ＣＭＹＫの４色のデジタル信号（以下、ＣＭＹＫ信号という）に変換される。

黒生成下色除去部３０８が行う黒生成処理の一例として、スケルトンブラックによる黒生成を行ない、下色を除去する方法が用いられる。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ´，Ｍ´，Ｙ´，Ｋ´、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）として、黒生成下色除去処理により出力されるデータはそれぞれ、下記の式で表される。
Ｋ´＝ｆ（ｍｉｎ（Ｃ，Ｍ，Ｙ））
Ｃ´＝Ｃ－αＫ´
Ｍ´＝Ｍ－αＫ´
Ｙ´＝Ｙ－αＫ´
ここで、ＵＣＲ率α（０＜α＜１）とは、ＣＭＹが重なっている部分をＫに置き換えてＣＭＹをどの程度削減するかを示すものである。

上記の式では、ＣＭＹの各信号強度の内の最も小さい信号強度に応じてＫ信号が生成されることを示している。なお、黒生成下色除去部３０８は、領域識別信号や文字印字画素信号に応じて異なる色補正を行ってもよい。

また、黒生成下色除去部３０８は、ＣＭＹ信号を変換したＣＭＹＫ信号を空間フィルタ処理部３０９に出力する。

空間フィルタ処理部３０９は、黒生成下色除去部３０８から出力されたＣＭＹＫ信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行う。これにより、空間フィルタ処理部３０９は、画像の空間周波数特性を補正し、カラー画像出力部４０における出力画像のぼやけ又は粒状性劣化を防止する。

なお、文字印字画素領域については、文字画像生成部３０５および文字出力色変換部３０６においてぼやけや粒状性劣化の無い画像信号に変換されている。そのため、空間フィルタ処理部３０９は、空間フィルタ処理を行わず、文字印字画素領域の画素値については、入力された画素値をそのまま出力してもよい。

また、空間フィルタ処理部３０９は、文字印字画素領域以外の領域の画素（文字画像生成部３０５から出力された文字印字画素信号において、非文字印字画素であると示される画素）に対しては、領域分離処理部３０４から出力された領域分離信号に応じて異なる処理を行ってもよい。

例えば、空間フィルタ処理部３０９は、領域分離処理部３０４において、エッジ領域に分離された領域に対しては、特に線やエッジの再現性を高めるために、高周波成分の強調量が大きいフィルタを用いて鮮鋭強調処理を行ってもよい。また、空間フィルタ処理部３０９は、領域分離処理部３０４において網点領域に分離された領域に対しては、入力網点成分を除去するためのローパス・フィルタ処理を行ってもよい。

また、空間フィルタ処理部３０９は、空間フィルタ処理後のＣＭＹＫ信号を出力階調補正部３１０へ出力する。

出力階調補正部３１０は、空間フィルタ処理部３０９から出力されたＣＭＹＫ信号に基づく画像に対して、カラー画像出力部４０の特性値に基づく出力階調補正処理を行い、出力階調補正処理後のＣＭＹＫ信号を階調再現処理部３１１へ出力する。

階調再現処理部３１１は、出力階調補正部３１０から出力されたＣＭＹＫ信号に基づく画像に対して、階調再現処理（中間調処理）を行う。例えば、階調再現処理部３１１は、文字印字画素領域の画素（文字画像生成部３０５から出力された文字印字画素信号において文字印字画素を示す画素）に対して、特に黒文字又は色文字の再現性を高めるための処理を行う。黒文字又は色文字の再現性を高めるための処理として、階調再現処理部３１１は、例えば、カラー画像出力部４０における高周波成分の再現に適した高解像度のスクリーンによる二値化処理又は多値化処理を行う。

また、階調再現処理部３１１は、文字印字画素領域以外の領域の画素（文字画像生成部３０５から出力された文字印字画素信号が非文字印字画素を示す画素）についても、領域分離処理部３０４においてエッジ領域に分離された領域に対して、特に黒文字又は色文字の再現性を高めるための処理を行なってもよい。例えば、階調再現処理部３１１は、黒文字又は色文字の再現性を高めるための処理として、カラー画像出力部における高周波成分の再現に適した高解像度のスクリーンによる二値化処理又は多値化処理を行う。

また、階調再現処理部３１１は、領域分離処理部３０４において網点領域に分離された領域に対しては、最終的にその領域の画像を画素に分離して、それぞれの画素の階調を適切に再現できるように階調再現処理（中間調生成）を行なってもよい。さらに、階調再現処理部３１１は、領域分離処理部３０４にて写真領域（印画紙写真）に分離された領域に対しては、カラー画像出力部４０における階調再現性を重視したスクリーンによる二値化処理又は多値化処理を行なってもよい。

なお、階調再現処理部３１１は、網点領域に分離された領域と写真領域（印画紙写真）に分離された領域に対して、同じスクリーンによる二値化処理又は多値化処理を行なってもよい。

また、領域分離処理部３０４にて網点領域に分離された領域に対して、空間フィルタ処理部３０９がローパス・フィルタ処理を施すのは、原稿画像の網点による一定の周期的な特性を持った画像データと、ディザ処理のような周期的な処理との間で発生するモアレを抑制するためである。したがって、階調再現処理部３１１が誤差拡散処理を行う場合、即ち、階調再現処理部３１１がディザ処理のような周期的な処理を行なわない場合、空間フィルタ処理部３０９はローパス・フィルタ処理を行う必要がない。なお、空間フィルタ処理部３０９がローパス・フィルタ処理を行わないときは、空間フィルタ処理部３０９は、鮮鋭強調処理を行なってもよい。このように、空間フィルタ処理部３０９は、階調再現処理部３１１の処理に応じて、実行する処理を切り替えてもよい。

また、カラー画像処理部３０は、階調再現処理部３１１で処理されたＣＭＹＫ信号に基づく画像の画像データを記憶部６０に一旦記憶してもよい。この場合、制御部１０は、画像形成をする所定のタイミングで記憶部６０に記憶された画像データを読み出し、読み出した画像データをカラー画像出力部４０へ出力することで、当該画像データに基づく画像を出力する。

［１．２ 処理の流れ］
画像形成装置１が実行する処理の流れについて、図５から図７までを参照して説明する。図５から図７までに示した処理は、制御部１０が、記憶部６０に記憶されたプログラムを読み出すことにより実行される。また、図５から図７に示した処理は、ユーザにより、コピージョブやスキャンジョブといった、原稿を読み取るジョブの実行を開始させる操作がされた場合に実行される。

［１．２．１ メイン処理］
はじめに、図５を参照して、メイン処理の流れについて説明する。制御部１０は、カラー画像入力部２０を制御することで、原稿画像を読み取り、当該原稿画像（ＲＧＢ信号）を取得する（ステップＳ１００）。なお、以下の説明では、ステップＳ１００において入力された画像を入力画像と記載する。

つづいて、カラー画像処理部３０は、入力画像に対する画像処理を実行する。まず、Ａ／Ｄ変換部３０１は、アナログ信号のＲＧＢ信号を、デジタル信号のＲＧＢ信号に変換するＡ／Ｄ変換を行う（ステップＳ１０２）。つづいて、シェーディング補正部３０２は、ＲＧＢ信号に対してシェーディング補正を行う（ステップＳ１０４）。なお、シェーディング補正部３０２は、カラーバランスの調整や、８ビットの画像データへの変換を行ってもよい。つづいて、入力階調補正部３０３は、ＲＧＢ信号に対して、入力階調補正処理を行う（ステップＳ１０６）。つづいて、領域分離処理部３０４が、ＲＧＢ信号に対して、領域分離処理を行う（ステップＳ１０８）。

つづいて、文字画像生成部３０５は、文字画像を生成する処理である文字画像生成処理を実行する（ステップＳ１１０）。文字画像生成処理については後述する。

つづいて、文字出力色変換部３０６は、ステップＳ１００において入力画像に含まれる文字の画素の色を、ステップＳ１１０において生成された文字画像に基づき変換する文字出力色変換処理を実行する（ステップＳ１１２）。文字出力色変換処理については、後述する。

つづいて、色補正部３０７は、文字出力色変換部３０６から出力されたＲＧＢ信号に基づく画像の色空間をＣＭＹの色空間に変換し、色補正処理を行う（ステップＳ１１４）。つづいて、黒生成下色除去部３０８は、色補正部３０７出力されたＣＭＹ信号に対して黒生成下色除去処理を行い、ＣＭＹＫ信号を出力する（ステップＳ１１６）。つづいて、空間フィルタ処理部３０９は、黒生成下色除去部３０８から出力されたＣＭＹＫ信号に対して空間フィルタ処理を実行する（ステップＳ１１８）。

つづいて、出力階調補正部３１０は、空間フィルタ処理部３０９から出力されたＣＭＹＫ信号に対して出力階調補正処理を行う（ステップＳ１２０）。また、階調再現処理部３１１は、出力階調補正部３１０から出力されたＣＭＹＫ信号に対して、階調再現処理を行う（ステップＳ１２２）。階調再現処理部３１１は、階調再現処理を行なった後の画像に基づくＣＭＹＫ信号をカラー画像出力部４０に出力する。なお、制御部１０は、ステップＳ１２２において出力されたＣＭＹＫ信号に基づく画像データを、記憶部６０に記憶してもよい。

つづいて、制御部１０は、ステップＳ１２２において出力されたＣＭＹＫ信号に基づく画像をカラー画像出力部４０に入力し、カラー画像出力部４０を制御することにより、当該画像を出力する（ステップＳ１２４）。これにより、入力画像に含まれる文字の色は、文字画像生成処理によって生成された文字画像に基づいて変換され、文字の色が変換された後の画像が出力される。

［１．２．２ 文字画像生成処理］
図６を参照して、文字画像生成処理の流れについて説明する。はじめに、グレースケール（輝度）変換部３５０１は、領域分離処理部３０４から出力されたＲＧＢ信号を、グレースケール（輝度）信号に変換する（ステップＳ１５０）。

つづいて、二値化処理部３５０２は、グレースケール（輝度）変換部３５０１から出力されたグレースケール（輝度）信号に基づく画像（グレースケール画像）に対して二値化処理を行い、二値化画像を出力する（ステップＳ１５２）。

つづいて、レイアウト解析部３５０３は、二値化処理部３５０２から出力された二値化画像に基づきレイアウト解析を行い、文字エリア情報を出力する（ステップＳ１５４）。つづいて、行切り出し処理部３５０４は、文字エリア情報に基づき、行切り出し処理を実行し、行エリア情報を出力する（ステップＳ１５６）。つづいて、文字切り出し処理部３５０５は、行エリア情報に基づき、文字切り出し処理を実行し、個別文字エリア情報を出力する（ステップＳ１５８）。

つづいて、文字平均輝度算出部３５０６は、個別文字エリア毎に、個別文字エリアの文字印字画素領域に含まれる画素の輝度に基づき、文字平均輝度を算出する（ステップＳ１６０）。

つづいて、文字出力値割り当て部３５０７は、個別文字エリア毎に、文字平均輝度に基づく出力色を決定する（ステップＳ１６２）。具体的には、文字出力色変換部３０６は、原稿画像に基づく画像である原稿画像のグレースケール画像（第１の画像）から算出した、文字を構成する画素（二値化黒画素）の平均濃度に対応する色を、個別文字エリアに含まれる文字の出力色として割り当てる。例えば、図３に示す出力値情報が記憶されている場合において、注目している個別文字エリアの文字平均輝度（グレースケール（輝度）平均値Ａｖｅ）が１１０であったとき、文字出力値割り当て部３５０７は、当該個別文字エリアの出力色として、出力色番号を３に決定し、出力値（ＲＧＢ信号出力値）をＲ＝２５５、Ｇ＝０、Ｂ＝２５５に決定する。

つづいて、文字出力値割り当て部３５０７は、文字画像を生成する（ステップＳ１６４）。例えば、文字出力値割り当て部３５０７は、文字印字画素領域に含まれる画素の色については、ステップＳ１６２において決定した出力色とし、文字印字画素領域以外の領域に含まれる画素の色については白色を出力色として、各画素を出力する。

文字画像生成部３０５は、生成した文字画像（ＲＧＢ画像）を示す信号を、文字出力色変換部３０６に出力する。また、文字画像生成部３０５は、文字印字画素信号を、文字出力色変換部３０６、色補正部３０７、黒生成下色除去部３０８、空間フィルタ処理部３０９、階調再現処理部３１１に出力する。

［１．２．３ 文字出力色変換処理］
図７を参照して、文字出力色変換部３０６が実行する文字出力色変換処理の流れについて説明する。はじめに、文字出力色変換部３０６は、領域分離処理部３０４から出力されたＲＧＢ信号に基づく画像から、１の画素（注目画素）を選択する（ステップＳ１８０）。

つづいて、文字出力色変換部３０６は、文字画像生成部３０５から出力された文字印字画素信号に基づき、注目画素が文字印字画素であるか否かを判定する（ステップＳ１８２）。

文字出力色変換部３０６は、注目画素が文字印字画素である場合、注目画素と同じ位置における、文字画像の画素の色であるＲＧＢ画素値を取得し、当該注目画素の色として、取得したＲＧＢ画素値を出力する（ステップＳ１８２；Ｙｅｓ→ステップＳ１８４）。例えば、文字出力色変換部３０６は、領域分離処理部３０４から出力されたＲＧＢ信号に対して、注目画素に対応する画素のＲＧＢ画素値を、文字画像における対応する位置の画素のＲＧＢ画素値に置換する処理を行う。これにより、原稿画像における文字印字画素は、原稿画像のグレースケール画像における、文字印字画素（二値化黒画素）に対応する画素の平均濃度に基づいて決定（選択）した出力色に変換されて出力される。

一方、文字出力色変換部３０６は、注目画素が文字印字画素ではない場合、注目画素と同じ位置における、グレースケール（輝度）変換部３５０１によるグレースケール変換前の画像（入力画像）の画素の色であるＲＧＢ画素値を取得し、当該注目画素の色として、取得したＲＧＢ画素値を出力する（ステップＳ１８２；Ｎｏ→ステップＳ１８６）。すなわち、文字出力色変換部３０６は、非文字印字画素に対しては、原稿の画像である入力画像（第２の画像）から、出力色を割り当てて、出力する。この結果、文字出力色変換部３０６は、注目画素が文字印字画素ではない場合、当該注目画素に対応する画素のＲＧＢ画素値を他のＲＧＢ画素値に置換せず、領域分離処理部３０４から出力された画像のＲＧＢ画素値をそのまま出力することができる。

つづいて、文字出力色変換部３０６は、領域分離処理部３０４から出力されたＲＧＢ信号に基づく画像に含まれる全ての画素を選択したか否かを判定する（ステップＳ１８８）。文字出力色変換部３０６は、全ての画素を選択した場合は、図７に示した処理を終了する（ステップＳ１８８；Ｙｅｓ）。一方、文字出力色変換部３０６は、全ての画素を選択していない場合は、ステップＳ１８０に戻る（ステップＳ１８８；Ｎｏ→ステップＳ１８０）。

このようにして、文字出力色変換部３０６は、入力された原稿画像の画素毎に、文字画像に基づくＲＧＢ画素値又はグレースケール変換前のＲＧＢ画素値の何れかのＲＧＢ画素値を出力する。ここで、文字印字画素のＲＧＢ画素値は、文字画像のＲＧＢ画素値が出力されるため、文字印字画素が色情報（色相や彩度といった色味に関する情報）を失ったモノクロの画素であっても、カラーの画素が出力される。この結果、原稿画像に含まれるグレー文字は、有彩色の文字（カラー文字）として出力される。

［１．３ 動作例］
図８を参照して、本実施形態の画像形成装置１の動作例を説明する。図８（ａ）は、カラー文字を含むカラー原稿又はファイル（カラーファイル）に基づく画像Ｍ１００を示す。画像Ｍ１００には、黒文字の領域Ｅ１００と、色文字の領域Ｅ１０１とが含まれることとする。

図８（ｂ）は、図８（ａ）に示した画像Ｍ１００を、モノクロコピー又はモノクロプリントにより出力した原稿をスキャンして得られた画像Ｍ１１０を示す。画像Ｍ１００の領域Ｅ１００に含まれていた各文字（Ｅ１１０、Ｅ１１１、Ｅ１１２、Ｅ１１３、Ｅ１１４の各領域内の文字）の色は、元々の黒の色となっている。一方、画像Ｍ１００の領域Ｅ１１０に含まれていた各文字（Ｅ１１５、Ｅ１１６、Ｅ１１７の各領域内の文字）は、グレー色の文字となり、目立ちにくくなっている。

図８（ｃ）は、図８（ｂ）に示した画像Ｍ１１０の二値化画像Ｍ１２０を示した図である。二値化画像Ｍ１２０に基づき個別文字が切り出されることにより、図８（ｃ）に示すように、二値化画像Ｍ１２０から、Ｅ１２０からＥ１２７までの８つの個別文字が切り出される。また、個別文字の領域内の黒い画素が、文字印字画素となる。

図８（ｄ）は、図８（ｃ）において切り出されたそれぞれの個別文字が、その個別文字の平均輝度に応じて割り当てられた色に変換された後の画像Ｍ１３０を示す。例えば、図３に示した出力値情報が記憶されている場合で、画像Ｍ１１０の、Ｅ１１０、Ｅ１１１、Ｅ１１２、Ｅ１１３、Ｅ１１４におけるそれぞれの個別文字の文字印字画素の平均輝度が１０であるとき、それぞれの個別文字のＲＧＢ出力値はＲ＝０、Ｇ＝０、Ｂ＝０となる。この結果、二値化画像Ｍ１２０の、Ｅ１２０、Ｅ１２１、Ｅ１２２、Ｅ１２３、Ｅ１２４における文字印字画素は黒い画素に変換され、画像Ｍ１３０のＥ１３０、Ｅ１３１、Ｅ１３２、Ｅ１３３、Ｅ１３４に示すように、黒い文字として出力される。

一方、画像Ｍ１１０の、Ｅ１１５、Ｅ１１６、Ｅ１１７におけるそれぞれの個別文字の文字印字画素の平均輝度が１１０であるとき、それぞれの個別文字のＲＧＢ出力値はＲ＝２５５、Ｇ＝０、Ｂ＝２５５となる。この結果、二値化画像Ｍ１２０の、Ｅ１２５、Ｅ１２６、Ｅ１２７における文字印字画素はマゼンタの画素に変換され、画像Ｍ１３０のＥ１３５、Ｅ１３６、Ｅ１３７に示すように、色文字（マゼンタの文字）として出力される。このように、モノクロコピーやモノクロプリントにより色情報を失った画像の文字であっても、その文字の文字印字画素の平均輝度に応じた色文字として出力されるため、グレー文字の状態と比べて、目立ちやすくなる。

なお、上述した実施形態では、文字印字画素の輝度の平均（文字平均輝度）に応じて出力色を決定することとして説明したが、文字平均輝度に応じて、出力色を決定する条件が変更されてもよい。例えば、文字出力値割り当て部３５０７は、図６のステップＳ１６２において、文字平均輝度が所定の値未満である場合、図３に示した出力値情報におけるグレースケール（輝度）平均値Ａｖｅの範囲を一時的に修正する。具体的には、文字出力値割り当て部３５０７は、０≦Ａｖｅ＜５０であれば出力色番号を０とし、同様にして、出力色番号１から５に対するグレースケール（輝度）平均値Ａｖｅの範囲を２０だけ低い値に変更する。このようにすることで、文字出力値割り当て部３５０７は、文字平均輝度が低い個別文字エリアに対して、出力色を決定するための条件を変更したうえで、再度出力色を決定することにより、割り当てた出力値を補正することができる。

また、上述した実施形態では、文字印字画素の輝度の平均に応じて出力色を決定することとして説明したが、出力色は、文字印字画素の明度や濃度といった値に応じて決定されてもよい。

このように、本実施形態の画像形成装置によれば、カラー原稿やファイルをモノクロコピーやモノクロプリントされることによりグレー色になった色文字を含む原稿をコピーやスキャンしたときに、カラー情報を復元し、カラーの文字にして出力することができる。具体的には、画像形成装置は、文字領域を切り出し、切り出した文字領域に含まれる、文字を構成する各画素の平均輝度に応じて、カラー化する。なお、画像形成装置は、濃い黒文字はカラー化しない。このような処理により、画像形成装置は、モノクロコピーやモノクロプリントにより目立ちにくくなっていたグレー文字を、元のカラー原稿やファイルのように色文字に復元し、ユーザによって識別されやすくすることができる。

［２．第２実施形態］
つづいて第２実施形態について説明する。第２実施形態は、第１実施形態に記載した処理において、モノクロコピーやモノクロプリントがされた原稿に対して加筆された手書きの色文字があった場合、当該加筆した手書きの色文字をそのまま再現した画像を出力することを可能とする実施形態である。本実施形態は、第１実施形態の図４を図９に、第１実施形態の図６を図１０にそれぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［２．１ 機能構成］
図９は、本実施形態における文字画像生成部３０５の機能構成を示す図である。本実施形態では、文字画像生成部３０５は、色空間変換部３５１１、二値化処理部３５０２、レイアウト解析部３５０３、行切り出し処理部３５０４、文字切り出し処理部３５０５、文字平均彩度算出部３５１２、文字平均輝度算出部３５０６、文字出力値割り当て部３５０７を備えて構成される。

色空間変換部３５１１は、領域分離処理部３０４から入力されたＲＧＢ信号に基づくＲＧＢ色空間の画像（ＲＧＢ信号）を、ＹＣｂＣｒ色空間の画像（ＹＣｂＣｒ信号）に変換する色空間変換処理を行う。色空間変換部３５１１は、ＹＣｂＣｒ信号を文字平均彩度算出部３５１２に出力する。また、色空間変換部３５１１は、Ｙ（輝度）信号を二値化処理部３５０２とへ出力する。

文字平均彩度算出部３５１２は、文字切り出し処理部３５０５から出力された各個別文字エリア情報とレイアウト解析部３５０３から出力された文字印字画素信号とに基づき、各個別文字エリア毎に、当該個別文字エリア内の文字印字画素領域に含まれる画素の彩度の平均値（文字平均彩度）を算出する。また、文字平均彩度算出部３５１２は、文字平均彩度と、所定の閾値とを比較することで、文字平均彩度が所定の閾値以上であるか、所定の閾値未満であるかを示す比較結果を出力する。なお、所定の閾値は、予め記憶部６０に記憶されていてもよいし、ユーザによって設定可能であってもよい。

例えば、文字平均彩度算出部３５１２は、文字平均彩度を、色差信号であるＣｂとＣｒとの値に基づいて算出する。この場合、文字平均彩度算出部３５１２は、各個別文字エリアに対して、文字印字画素のＣｂ値の平均値と文字印字画素のＣｒ値の平均値との二乗和の平方根を求める。さらに、文字平均彩度算出部３５１２は、求めた二乗和の平方根が、所定の閾値以上であるか所定の閾値未満であるかを判定する。ここで、文字平均彩度算出部３５１２は、文字平均彩度と当該文字平均彩度の閾値との比較ができればよいため、文字印字画素のＣｂ値の平均値と文字印字画素のＣｒ値の平均値との二乗和と、当該平均値の二乗和に対する閾値とを比較してもよい。

文字平均彩度算出部３５１２は、個別文字の文字印字画素の彩度が閾値以上である場合、当該個別文字は彩度が高い文字であるとして、出力色を割り当てる処理は不要とする。この場合、文字平均彩度算出部３５１２は、彩度が高い個別文字の個別文字エリア情報を削除する。また、文字平均彩度算出部３５１２は、当該個別文字エリア情報内の文字印字画素信号を、全て非文字印字画素を示す信号に変換する。これにより、有彩色の色ペンなどで追記した文字は、出力色が変換されずに元々の色で出力される。また、文字平均彩度算出部３５１２は、文字平均輝度算出部３５０６に、Ｙ（輝度）信号を出力する。

なお、本実施形態では、文字平均輝度算出部３５０６は、文字平均彩度算出部３５１２から出力されたＹ（輝度）信号に基づき、個別文字毎の平均輝度を算出する。また、二値化処理部３５０２は、色空間変換部３５１１から出力されたＹ（輝度）信号を二値化処理し、レイアウト解析部３５０３へ出力する。

［２．２ 処理の流れ］
図１０を参照して、本実施形態における文字画像生成処理の流れを説明する。まず、色空間変換部３５１１は、領域分離処理部３０４から出力されたＲＧＢ画像データ（ＲＧＢ信号）の色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換することで、ＲＧＢ画像（ＲＧＢ信号）をＹＣｂＣｒ画像（ＹＣｂＣｒ信号）に変換する（ステップＳ２００）。

つづいて、文字画像生成部３０５は、ステップＳ１５２からステップＳ１５８までの処理を実行して個別文字エリア情報を出力する。つづいて、文字画像生成部３０５は、入力画像に含まれる文字のうち、手書き文字を文字出力色変換処理の対象から外す。ここで、本実施形態では、手書き文字は、モノクロプリントの原稿に有彩色の色ペン等によって記載されたものとする。したがって、本実施形態では、入力画像から切り出した文字が有彩色であるとき、その文字は手書き文字であるとする。なお、本実施形態では、文字が有彩色であるとは、当該文字が所定以上の彩度を有する場合であることとする。

ここで、文字平均彩度算出部３５１２は、文字切り出し処理部３５０５から出力された各個別文字エリア情報に基づき、各個別文字エリア毎に、その個別文字エリアに含まれる文字印字画素の彩度の平均値（文字平均彩度）を算出する（ステップＳ２０２）。

さらに、文字平均彩度算出部３５１２は、個別文字エリアを１つ選択し（ステップＳ２０４）、選択した個別文字エリアの文字平均彩度が所定の閾値以上であるか否かを判定する（ステップＳ２０６）。すなわち、文字平均彩度算出部３５１２は、個別文字エリアに含まれる文字印字画素の彩度の平均値が、閾値以上であるか否かを判定する。これにより、文字平均彩度算出部３５１２は、文字平均彩度に基づいて、個別文字エリアに含まれる文字が手書き文字であるか否かを判定することができる。

文字平均彩度算出部３５１２は、ステップＳ２０４において選択した個別文字エリアの文字平均彩度が所定の閾値以上である場合、文字切り出し処理部３５０５から出力された個別文字エリア情報のうち、当該個別文字に対応する個別エリア情報を削除する（ステップＳ２０６；Ｙｅｓ→ステップＳ２０８）。つまり、文字平均彩度算出部３５１２は、個別文字エリアが、手書き文字の領域であれば、その個別文字エリアを削除する。

また、文字平均彩度算出部３５１２は、レイアウト解析部３５０３から出力された文字印字画素信号に対して、ステップＳ２０４において選択した個別文字エリア内の文字印字画素を、非文字印字画素を示す信号に変換する（ステップＳ２１０）。

このように、文字平均彩度算出部３５１２は、ステップＳ２０８及びステップＳ２１０の処理を実行することで、入力画像に含まれる文字の領域（個別文字エリア）から、手書き文字を含む領域を削除する。すなわち、文字平均彩度算出部３５１２は、手書き文字については、出力色の割り当ての対象から外す。これにより、手書き文字は、図７に示した文字出力色変換処理において、文字平均輝度に応じて割り当てられる出力色に変換されることが無い。具体的には、手書き文字の画素に対しては、図７の出力色変換処理のステップＳ１８６の処理が実行され、入力画像における、対応する画素の色（ＲＧＢ出力値）を出力色とする方法（第１の方法）により、出力色が割り当てられる。すなわち、手書き文字については、入力画像に基づいて出力色が割り当てられ、当該出力色により手書き文字が出力されることとなる。

なお、文字平均彩度算出部３５１２は、ステップＳ２０６において、個別文字の文字平均彩度が所定の閾値未満である場合は、ステップＳ２０８及びステップＳ２１０の処理を省略する（ステップＳ２０６；Ｎｏ）。この場合、手書き文字以外の文字については、個別文字エリア情報が削除されず、当該個別文字エリア内の文字印字画素は、非文字印字画素に変換されない。これにより、手書き文字以外の文字は、図７に示した文字出力色変換処理において、文字平均輝度に応じて割り当てられる出力色に変換される。具体的には、手書き文字以外の文字の画素に対しては、図７の出力色変換処理のステップＳ１８４の処理が実行され、入力画像に対して所定の変換が行われた画像（グレースケール画像）における二値化黒画素のグレースケール平均輝度に対応する色を出力色とする方法（第２の方法）により、出力色が割り当てられる。すなわち、手書き文字以外の文字については、入力画像により所定の変換がされた画像に基づいて出力色が割り当てられ、当該出力色により手書き文字以外の文字が出力されることとなる。

つづいて、文字平均彩度算出部３５１２は、個別文字エリアを全て選択したか否かを判定する（ステップＳ２１２）。文字平均彩度算出部３５１２は、個別文字エリアを全て選択していない場合はステップＳ２０４へ戻る（ステップＳ２１２；Ｎｏ→ステップＳ２０４）。一方、文字平均彩度算出部３５１２は、個別文字エリアを全て選択した場合は、個別文字エリア情報、文字印字画素信号及びＹ信号を文字平均輝度算出部３５０６に出力する（ステップＳ２１２；Ｙｅｓ）。また、文字画像生成部３０５は、ステップＳ１６０からステップＳ１６４までの処理を実行する。

上述した処理では、個別文字エリアに含まれる文字を構成する画素（文字印字画素）の平均彩度が閾値以上の場合にその個別文字エリア情報を削除し、その個別文字エリア内の文字印字画素を非文字印字画素に変換した上で、残った個別文字エリアに含まれる文字の色を、その文字を構成する画素（文字印字画素）の平均輝度に応じて出力色を決定し、その出力色に変換する処理を説明した。このように、本実施形態の画像形成装置１は、手書き文字に出力色を割り当てる方法（第１の方法）と、手書き文字以外の文字に出力色を割り当てる方法（第２の方法）とを併用する。これにより、画像形成装置１は、モノクロコピー等がされた原稿に印字された無彩色の文字と、当該原稿に対して加筆された手書きの色文字とに対して、それぞれ適切な出力色を割り当てることができ、モノクロコピー等がされた原稿に含まれる文字及び当該原稿に加筆された色文字のそれぞれを、最適な色で出力することができる。

ここで、手書きの色文字が、蛍光ペンなどでハイライトされる場合がある。このような場合、ハイライト（背景）及びハイライトされた文字はそのまま出力される。しかしながら、ハイライトされた文字が、ハイライト（背景）と区別しづらい状態で出力される場合がある。そこで、画像形成装置１は、個別文字エリアに含まれる文字の背景がハイライトされているか否かに応じて当該文字の色の変換方法を切り替えてもよい。例えば、文字出力値割り当て部３５０７は、個別文字エリアに含まれる文字の背景の画素（非文字印字画素）の色に基づき、その背景の出力色を決定する。このとき、文字出力値割り当て部３５０７は、背景の画素（個別文字エリア内の画素であって、非文字印字画素である画素）の色の彩度が、所定の値以上であるか否かを判定する。文字出力値割り当て部３５０７は、背景の画素の色の彩度が、所定の閾値以上であれば、当該個別文字エリアの背景はハイライトされていると判定する。一方、文字出力値割り当て部３５０７は、背景の画素の色の彩度が、所定の閾値未満であれば、当該個別文字エリアの背景はハイライトされていないと判定する。なお、背景の画素の彩度に対する閾値は、所定の閾値は、文字印字画素の彩度に対する閾値（ステップＳ２０６における閾値）と異なる値であってもよい。

さらに、文字出力値割り当て部３５０７は、注目している個別文字エリアの背景がハイライトされている場合、当該個別文字エリアに含まれる文字の画素（文字印字画素）の色に対して、その文字の画素の色の再現濃度を補正する。

例えば、文字出力値割り当て部３５０７は、文字の画素の出力色を、その文字の色の濃度を高くした色に決定したり、背景の色の平均濃度に対応する色に決定したりする。このようにして、文字出力値割り当て部３５０７は、ハイライトされている文字の濃度を補正して出力するようにする。さらに、文字出力値割り当て部３５０７は、注目している個別文字エリアの背景の再現色として、当該背景の平均濃度に対応する色を選択してもよい。

一方で、文字出力値割り当て部３５０７は、注目している個別文字エリアの背景がハイライトされていない場合、当該個別文字エリアに含まれる文字の画素（文字印字画素）の輝度（濃度）に基づく出力色を、その文字の画素の出力色とする。

また、文字出力値割り当て部３５０７は、文字印字画素に対応する画素の色を出力色とし、非文字印字画素に対応する画素の色を背景の再現色とした文字画像を生成する。さらに、文字出力色変換部３０６は、文字画像生成部３０５から出力された文字画像に応じて、入力画像の個別文字エリアの色を変換する。例えば、文字出力色変換部３０６は、注目している個別文字エリアの背景がハイライトされている場合、当該個別文字エリアに含まれる文字印字画素と非文字印字画素（ハイライト部分）との色を、文字画像の対応する画素の色に変換する。一方、文字出力色変換部３０６は、注目している個別文字エリアの背景がハイライトされていない場合、当該個別文字エリアに含まれる文字印字画素の色を、文字画像の対応する画素の色に変換する。このようにすることで、画像形成装置１は、文字エリア（文字領域）に含まれる文字について、グレー文字をカラー化するとともに、ハイライトされた文字を、ユーザによって区別されやすい別の色に変換することができる。

なお、上述した処理は、手書き文字がハイライトされた場合についての処理であるが、手書き文字以外の文字（例えば、印字された文字）がハイライトされた場合についても、当該手書き文字以外の文字の濃度が補正されて出力されてもよい。

また、上述した説明では、手書き文字であるか否かを彩度に基づいて判定する場合について説明したが、手書き文字であるか否かは、例えば、画像認識を行うことによって判定されてもよいし、エッジの形状等の特徴（例えば、直線の割合や、曲線の歪みの大きさ等）に応じて判定されてもよい。

また、上述した説明では、文字平均彩度算出部３５１２は、色差信号を用いて文字平均彩度を算出することとして説明した。しかし、色差信号を用いて文字平均彩度を算出する方法は、文字平均彩度を算出する処理の一例であって、他の色空間や方法が用いられてもよい。例えば、文字平均彩度算出部３５１２は、入力画像の色空間を、ＨＳＶ色空間に変換し、文字印字画素のＳの値の平均値を、文字平均彩度としてもよい。

このように、本実施形態の画像形成装置は、有彩色の文字（色文字）であれば、その文字の色をそのまま再現し、無彩のグレーの文字だけをカラー化することができる。これにより、画像形成装置は、モノクロコピーやモノクロプリントされた原稿に加筆した手書きの色文字が含まれていても、手書きの色文字が別の色になることを防ぐことができる。

［３．第３実施形態］
つづいて第３実施形態について説明する。第３実施形態は、第１実施形態の処理に加えて、連続した手書き文字以外の文字（例えば、印字された文字）において、注目している文字の出力色と、当該注目している文字の前後の出力色とが異なる場合、当該注目している文字の出力色を変更する実施形態である。本実施形態は、第１実施形態の図６を図１１に置き換えた実施形態である。なお、同一の処理には同一の符号を付し、説明については省略する。

図１１を参照して、本実施形態における文字画像生成処理の流れを説明する。本実施形態では、文字画像生成部３０５は、ステップＳ１５０からステップＳ１６２までの処理を実行する。これにより、文字出力値割り当て部３５０７は、文字切り出し処理部３５０５から出力された各個別文字エリア情報による各個別文字毎に、文字平均輝度算出部３５０６により算出された文字平均輝度に基づいて、その個別文字エリアの出力色を決定する。

つづいて、文字出力値割り当て部３５０７は、個別文字エリアのうち、以下の２つの条件を満たす個別文字エリアの出力色を修正する。
（１）注目している個別文字エリアの出力色番号が、一つ前の個別文字エリアの出力色と一つ後の個別文字エリアの出力色との何れとも異なること。
（２）注目している個別文字エリアの一つ前の個別文字エリアの出力色と、注目している個別文字エリアの一つ後の個別文字エリアの出力色が同一であること。

文字出力値割り当て部３５０７は、上述した２つの条件を何れも満たす個別文字エリアの出力色を一つ前の文字の出力色（もしくは、一つ後の文字の出力色）と同じ出力色となるように修正する。一方で、文字出力値割り当て部３５０７は、上述した条件を満たさない個別文字エリアの出力色は、修正しない。

上述した個別文字エリアの出力色の修正を行うため、文字出力値割り当て部３５０７は、個別文字エリアを１つ選択する（ステップＳ３００）。なお、以下の説明において、ステップＳ３００において選択した個別文字エリアを、注目個別文字エリアと記載する。

つづいて、文字出力値割り当て部３５０７は、注目個別文字エリアの出力色が、１つ前の個別文字エリアの出力色と異なり、また、１つ後の個別文字エリアの出力色とも異なるか否かを判定する（ステップＳ３０２）。１つ前の個別文字エリアとは、例えば、注目個別文字エリアが属する行と同じ行に属する個別文字エリアであって、注目個別文字エリアの左隣に位置する個別文字エリアである。また、１つ後の個別文字エリアとは、例えば、注目個別文字エリアが属する行と同じ行に属する個別文字エリアであって、注目個別文字エリアの右隣に位置する個別文字である。

文字出力値割り当て部３５０７は、注目個別文字エリアの出力色が、１つ前の個別文字エリアの出力色と異なり、また、１つ後の個別文字エリアの出力色とも異なる場合、１つ前の個別文字エリアの出力色と１つ後の個別文字エリアの出力色とが等しいか否かを判定する（ステップＳ３０２；Ｙｅｓ→ステップＳ３０４）。

文字出力値割り当て部３５０７は、１つ前の個別文字エリアの出力色と１つ後の個別文字エリアの出力色とが等しい場合、注目個別文字エリアの出力色を、前後の文字の出力色に揃える（ステップＳ３０４；Ｙｅｓ→ステップＳ３０６）。例えば、文字出力値割り当て部３５０７は、ステップＳ３００において選択した個別文字エリアに対応する出力色（出力色番号及び出力ＲＧＢ値）を、１つ前の個別文字エリアに対応する出力色に変更する。

なお、文字出力値割り当て部３５０７は、注目個別文字エリアの出力色が、１つ前の注目個別文字エリアの出力色と１つ後の注目個別文字エリアの出力色とのうち、何れかの出力色と等しい場合は、ステップＳ３０６の処理を省略する（ステップＳ３０２；Ｎｏ）。また、文字出力値割り当て部３５０７は、１つ前の個別文字エリアの出力色と１つ後の個別文字エリアの出力色とが等しくないと判定した場合、ステップＳ３０６の処理を省略する（ステップＳ３０４；Ｎｏ）。

つづいて、文字出力値割り当て部３５０７は、個別文字エリアを全て選択したか否かを判定する（ステップＳ３０８）。文字出力値割り当て部３５０７は、個別文字エリアを全て選択していない場合、ステップＳ３００に戻る（ステップＳ３０８；Ｎｏ→ステップＳ３００）。一方、文字出力値割り当て部３５０７は、個別文字エリアを全て選択した場合、ステップＳ１６４における処理を実行する（ステップＳ３０８；Ｙｅｓ）。

また、ステップＳ１６４において、文字出力値割り当て部３５０７は、グレースケール画像に対して、個別文字エリアにおいて文字印字画素信号が文字印字画素を示す画素に対応する画素の色を、最終的に決定した当該画素の出力色とする。また、文字出力値割り当て部３５０７は、グレースケール画像に対して、文字印字画素信号が非文字印字画素を示す画素に対応する画素の色を、白色（ＲＧＢ画素値ともに２５５）の画素とする。文字出力値割り当て部３５０７は、このようにして生成（変換）した文字画像を文字出力色変換部３０６へ出力する。

このように、文字出力値割り当て部３５０７は、各個別文字エリアに対して割り当てた出力色を、前後の個別文字エリアの出力色に応じて揃える（変更する）処理を繰り返す。これにより、例えば、対象文字の出力色が赤色（出力色番号＝２）で、前後の個別文字エリアの出力色が青（出力色番号＝１）である場合、文字出力値割り当て部３５０７は、対象文字の出力色を青（出力色番号＝１）にする。

また、文字出力値割り当て部３５０７は、一旦カラー化せずに出力する（無彩色の黒文字として出力する）と判定した個別文字であっても、両隣の個別文字がカラー化して出力すると判定している場合、カラー化せずに出力すると判定した個別文字をカラー化することができる。

なお、文字出力値割り当て部３５０７は、カラー化せずに出力すると判定した（無彩色の出力色を割り当てた）個別文字の両隣の個別文字を、カラー化して出力すると判定した（有彩色の出力色を割り当てた）場合、カラー化する閾値を変更した上で、そのカラー化せずに出力すると判定した個別文字をカラー化するか否かを再判定してもよい。例えば、文字出力値割り当て部３５０７は、図３に示した出力値情報におけるグレースケール（輝度）平均値Ａｖｅの範囲を一時的に修正する。具体的には、文字出力値割り当て部３５０７は、０≦Ａｖｅ＜５０であれば出力色番号を０とし、同様にして、出力色番号１から５に対するグレースケール（輝度）平均値Ａｖｅの範囲を２０だけ低い値に変更する。このようにすることで、文字出力値割り当て部３５０７は、カラー化するための閾値を下げた上で、再度カラー化するか否か判定し、カラー化して出力しないと判定した個別文字をカラー化しやすくする。

また、文字出力値割り当て部３５０７は、隣接する個別文字エリアの間隔が所定の長さ以内であるときに、個別文字エリア（手書き文字以外の文字）が連続していると判定し、出力色を変更する（揃える）処理を実行してもよい。すなわち、文字出力値割り当て部３５０７は、注目している文字の前の文字又は注目している文字の後の文字の少なくとも何れか一方が離れた位置にある場合、注目している文字の出力色を変更しない。

このように、本実施形態の画像形成装置は、注目している個別文字エリアの出力色が、その注目している個別文字エリアの前後の個別文字エリアの出力色と異なる場合に、その注目している個別文字エリアの出力色を前後の個別文字エリアの出力色に揃えることができる。これにより、本実施形態の画像形成装置は、誤判定と考えられる文字の出力色を自動的に修正することができる。この結果、画像形成装置は、カラー化すべき連続する文字列において、１文字だけ判定ミスによりカラー化されなかったり、前後の文字と別の色にしてしまったりするミスを防ぐことができる。

［４．第４実施形態］
つづいて第４実施形態について説明する。第４実施形態は、第１実施形態の処理において、個別文字毎に出力色を決定する代わりに、連続した手書き文字以外の文字（例えば、印字された文字）において、複数の文字の単位毎に、出力色を割り当てる実施形態である。本実施形態は、第１実施形態の図４を図１２に、第１実施形態の図６を図１３に、それぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［４．１ 機能構成］
図１２は、本実施形態における文字画像生成部３０５の機能構成を示す図である。本実施形態では、単語や文節の単位で出力色を決定する場合について説明する。本実施形態では、文字画像生成部３０５は、グレースケール（輝度）変換部３５０１、二値化処理部３５０２、レイアウト解析部３５０３、行切り出し処理部３５０４、文字切り出し処理部３５０５、文字認識処理部３５２１、形態素解析・構文解析部３５２２、単語・文節平均輝度算出部３５２３、単語・文節出力値割り当て部３５２４を備えて構成される。

文字認識処理部３５２１は、文字切り出し処理部３５０５から出力された個別文字エリア情報によるエリア毎に、レイアウト解析部３５０３から出力された文字印字画素信号に基づいて文字認識処理を行う。これにより、文字認識処理部３５２１は、個別文字エリアごとの文字を認識し、その認識結果である文字情報を、形態素解析・構文解析部３５２２に出力する。

形態素解析・構文解析部３５２２は、文字認識処理部３５２１から連続して出力される文字情報に基づいて、文字自然言語処理で行われる形態素解析・構文解析を行う。それにより、形態素解析・構文解析部３５２２は、連続して出力された文字情報に基づく文字列を、単語又は文節に分割する。また、形態素解析・構文解析部３５２２は、分割した文字列の情報を、単語・文節エリア情報として出力する。例えば、形態素解析・構文解析部３５２２は、各単語・文節エリア情報として、文字列が含む各個別文字エリアを包含するように各単語・文節エリアを決定し、左上の画素の座標と右下の画素の座標を出力する。

単語・文節平均輝度算出部３５２３は、形態素解析・構文解析部３５２２から出力された各単語・文節エリア情報に基づき、各単語・文節エリア毎に、レイアウト解析部３５０３から入力された文字印字画素信号が文字印字画素を示す画素のグレースケール（輝度）信号の平均値を算出する。すなわち、単語・文節平均輝度算出部３５２３は、単語又は文節の単位で、文字印字画素の平均輝度（以下、単語・文節の平均輝度という）を算出する。

単語・文節出力値割り当て部３５２４は、単語・文節エリアの出力色を決定する。具体的には、単語・文節出力値割り当て部３５２４は、形態素解析・構文解析部３５２２から出力された各単語・文節エリア情報に基づき、単語や文節エリアを特定する。さらに、単語・文節出力値割り当て部３５２４は、単語毎・文節エリア毎に、単語・文節平均輝度算出部３５２３から出力された単語・文節の平均輝度に基づき、出力色を決定する。例えば、単語・文節出力値割り当て部３５２４は、図３に示すような変換テーブルを用いて、単語・文節エリア毎に、単語・文節の平均輝度に対応する出力色番号およびＲＧＢ信号出力値を決定する。

また、単語・文節出力値割り当て部３５２４は、単語・文節平均輝度算出部３５２３から出力された文字印字画素信号を、決定した単語・文節の平均輝度に対応する出力色番号およびＲＧＢ信号出力値に応じて変換し、文字画像を生成する。

例えば、単語・文節出力値割り当て部３５２４は、文字印字画素信号が文字印字画素を示す画素については、決定した出力色を出力する。また、単語・文節出力値割り当て部３５２４は、文字印字画素信号が非文字印字画素については、白色（ＲＧＢ画素値ともに２５５）を出力する。このようにして、単語・文節出力値割り当て部３５２４は、文字画像（ＲＧＢ画像）を生成し、当該文字画像と、文字印字画素信号とを文字出力色変換部３０６へ出力する。

［４．２ 処理の流れ］
図１３を参照して、本実施形態における文字画像生成処理の流れを説明する。まず、文字画像生成部３０５は、ステップＳ１５０からステップＳ１５８までの処理を実行する。

つづいて、文字認識処理部３５２１は、文字認識を行う（ステップＳ４００）。つづいて、形態素解析・構文解析部３５２２は、文字認識処理部３５２１から連続して出力される文字情報に基づいて、形態素解析・構文解析を行う（ステップＳ４０２）。

つづいて、単語・文節平均輝度算出部３５２３は、形態素解析・構文解析部３５２２から出力された各単語・文節エリア情報に基づき、各単語・文節エリア毎に、単語・文節エリアの平均輝度を算出する（ステップＳ４０４）。

つづいて、単語・文節出力値割り当て部３５２４は、単語・文節エリアの平均輝度に基づいて、その単語・文節エリアの出力色を決定する（ステップＳ４０６）。

つづいて、単語・文節出力値割り当て部３５２４は、ステップＳ４０６において決定した出力色に応じて、文字画像を生成する（ステップＳ４０８）。このようにして、単語・文節出力値割り当て部３５２４は、単語や文節単位に割り当てた出力色に基づく文字画像を生成することができる。

なお、上述した説明では、単語や文節を、出力色を割り当てる単位として説明したが、出力色を割り当てる単位は、単語や文節以外であってもよい。例えば、文字画像生成部３０５は、句読点、中黒、カッコ等の記号を区切り文字として、区切り文字により区切られた文字単位で、出力色を決定してもよい。また、文字画像生成部３０５は、近接する個別文字エリアをグループ化し、グループ毎に出力色を決定してもよい。

このように、本実施形態の画像形成装置は、単語や文節の単位で、カラー化するか否か、及び、カラー化する場合における出力色を決定することができる。これにより、画像形成装置は、カラー化の判定ミスを少なくすることができ、また、体裁が良くユーザによって識別しやすい色に変換した文字を含む画像を出力することができる。

［５．第５実施形態］
第５実施形態は、第１実施形態において説明した処理を、画像読取装置に適用した場合の実施形態である。本実施形態は、第１実施形態の図２を図１４に、第１実施形態の図５を図１５に、それぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［５．１ 機能構成］
図１４は、本実施形態における画像読取装置２の機能構成を示す図である。画像読取装置２は、例えば、フラットベッドスキャナなどで実現される。また、画像読取装置２は、制御部１０、カラー画像入力部２０、カラー画像処理部３０、操作パネル５０、記憶部６０を備えて構成される。

また、画像読取装置２には、カラー画像処理部３０から出力されるＲＧＢ信号に基づく画像データの出力先として、ディスプレイ等の表示装置や、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）を介して他の装置と通信を行うための通信装置や、データの入出力を行うインタフェースが含められていてもよい。なお、通信装置は、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）等の通信装置や通信モジュールにより構成される。

なお、本実施形態では、色補正部３０７は、領域分離処理部３０４から出力されるＲＧＢ信号をカラー画像入力部２０の特性に応じた色補正処理を行う。

例えば、色補正部３０７は、色補正処理後のＲＧＢ信号を空間フィルタ処理部３０９へ出力する。空間フィルタ処理部３０９は、色補正部３０７から出力されたＲＧＢ信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行い、空間フィルタ処理後のＲＧＢ信号を出力階調補正部３１０へ出力する。出力階調補正部３１０は、空間フィルタ処理部３０９から出力されたＲＧＢ信号を、当該ＲＧＢ信号の出力先の装置に応じて出力階調補正処理を行う。さらに、出力階調補正部３１０は、出力先の装置に対して、出力階調補正処理後のＲＧＢ信号を出力する。

また、本実施形態におけるメイン処理は、図１５に示すように、制御部１０によって、ステップＳ１００からステップＳ１１４までの処理と、ステップＳ１１８、ステップＳ１２０及びステップＳ１２４の処理を含む。なお、制御部１０は、ステップＳ１２４において、画像の出力先となる機能部に対して、画像を出力する。

メイン処理では、ステップＳ１１０において、文字画像生成部３０５により文字画像生成処理が実行され、ステップＳ１１２において、文字出力色変換部３０６により文字出力色変換処理が実行される。これにより、画像読取装置２は、カラー画像入力部２０によって読み取られた原稿画像におけるグレー文字をカラー文字に変換した画像を、所定の出力先に出力することが可能となる。

このように、本実施形態によれば、画像読取装置といった装置であっても、グレー文字をカラー文字として出力することが可能となる。

［６．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第２実施形態と第３実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字をカラー化するとともに、カラー化されたグレー文字が前後の文字の出力色と異なる場合、そのカラー化されたグレー文字を前後の文字の出力色と合わせることができる。また、第２実施形態と第４実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字を単語や文節単位でカラー化することができる。また、第２実施形態と第３実施形態と第４実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字を単語や文節毎にカラー化するとともに、注目している単語や文節の出力色が前後の単語や文節との出力色と異なる場合、注目している単語や文節の出力色を前後の単語や文節の出力色と合わせることができる。

また、上述した実施形態では、グレー文字をカラー化する画像処理装置が画像形成装置や画像読取装置であるとして説明したが、当該画像処理装置は、サーバ装置や、スマートフォン等の端末装置であってもよい。例えば、本開示を、上述した実施形態で説明した処理と同様の処理を実行するアプリとして実現し、当該アプリを端末装置で実行することにより、当該端末装置により、グレー文字をカラー化する機能が実現されてもよい。この場合、端末装置は画像を取得し、当該画像に含まれるグレー文字をカラー化して、出力すればよい。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ （Blu-ray（登録商標） Disk） 等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１ 画像形成装置
２ 画像読取装置
１０ 制御部
２０ カラー画像入力部
３０ カラー画像処理部
３０１ Ａ／Ｄ変換部
３０２ シェーディング補正部
３０３ 入力階調補正部
３０４ 領域分離処理部
３０５ 文字画像生成部
３０６ 文字出力色変換部
３０７ 色補正部
３０８ 黒生成下色除去部
３０９ 空間フィルタ処理部
３１０ 出力階調補正部
３１１ 階調再現処理部
４０ カラー画像出力部
５０ 操作パネル
５２ 表示部
５４ 操作部
６０ 記憶部
６２ 出力値情報記憶領域

Claims (13)

1. 原稿に基づいた画像を入力する入力部と、
   制御部と、
   前記画像に所定の変換を行う画像変換部と、
   を備え、
   前記制御部は、
   前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外の文字に対しては、前記画像変換部により所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力する
   ことを特徴とする画像処理装置。
2. 前記画像変換部は、前記画像をグレースケール画像に変換し、
   前記制御部は、前記手書き文字以外の文字に対しては、前記第２の方法として、前記グレースケール画像の二値化黒画素のグレースケール平均濃度を算出し、算出された平均濃度に対応する色を、前記出力色として割り当てる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記文字が有彩色である場合に、手書き文字であると判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御部は、前記文字を構成する画素における色差信号の平均値の二乗和が、所定の閾値以上である場合に、前記文字が有彩色であると判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御部は、
   前記画像に基づいて、文字領域、図形領域、その他の領域を判定し、
   前記文字領域に含まれる文字の背景がハイライトされている場合、当該ハイライトの平均濃度に基づいて当該ハイライトの出力色を割り当て、当該ハイライトされている文字の濃度を補正して出力する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記制御部は、連続した手書き文字以外の文字において、注目している文字に割り当てられた前記出力色と、当該注目している文字の前後の文字に対して割り当てられた出力色とが異なるとき、当該注目している文字に割り当てた出力色を変更することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記制御部は、前記注目している文字に割り当てた出力色と、当該注目している文字の前後の文字に割り当てた出力色とが異なり、注目している文字の前の文字に割り当てた出力色と注目している文字の後の文字に割り当てた出力色とが同一である場合、当該注目している文字に割り当てた出力色を、当該注目している文字の前後の文字の出力色に変更することを特徴とする請求項６に記載の画像処理装置。
8. 前記制御部は、前記注目している文字に割り当てた出力色が無彩色であり、当該注目している文字の前後の文字に割り当てた出力色が有彩色である場合、当該注目している文字に割り当てる出力色を決定する際の条件を変更した上で、再度当該注目している文字に出力色を割り当てることにより、当該注目している文字の出力色を変更することを特徴とする請求項６に記載の画像処理装置。
9. 前記制御部は、連続した手書き文字以外の文字において、複数の文字の単位毎に、出力色を割り当てることを特徴とする請求項１又は２に記載の画像処理装置。
10. 前記制御部は、単語又は文節単位で、前記出力色を割り当てることを特徴とする請求項９に記載の画像処理装置。
11. 前記制御部は、前記二値化黒画素の前記グレースケール平均濃度が所定の閾値に満たない場合、出力色を決定する条件を変更した上で、当該手書き文字以外の文字の出力色を決定することを特徴とする請求項２に記載の画像処理装置。
12. 原稿に基づいた画像を入力する入力ステップと、
    前記画像に所定の変換を行う画像変換ステップと、
    前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換ステップにより所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力する出力ステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータに、
    原稿に基づいた画像を入力する入力機能と、
    前記画像に所定の変換を行う画像変換機能と、
    前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第１の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換機能により所定の変換をした画像に基づいて第２の方法により出力色を割り当てて、前記画像を出力する出力機能と、
    を実現させることを特徴とするプログラム。

Images