JP2004304635A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】画像処理装置の使用者に手間をかけることなく、適切な下地レベルを設定することのできる画像処理方法及び画像処理装置を提供する。
【解決手段】Ｒ，Ｇ，Ｂの各デジタル信号を輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換する一方、画像全体を複数のブロックに分割し、ブロックごとに輝度Ｙについてのヒストグラムを生成する。生成したヒストグラムにおいて、平均輝度から低輝度側及び高輝度側に度数のピークを探索し、このピークを用いてブロック下地レベルを設定する。また、このブロック下地レベルを平滑化した後、この補正後のブロック下地レベルから画素ごとの画素下地レベルを算出し、この画素下地レベルを用いて、画素ごとに階調補正を行った後、ノイズの除去処理及び断線部分の連結処理を行い、輝度の高いインクで書かれた文字等を見やすくするための階調補正を行うようにした。
【選択図】 図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、白板等を撮影した画像の下地とばし処理を行う画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
一般に、デジタルカメラは、画像処理により撮影された画像の画質を自在に制御できるため、撮影の目的や被写体の種類に応じて撮影画像の画質に対して適切な処理を行うことにより、銀塩フィルムに撮影するカメラに比してより好適な画質の画像を得ることができるという利点を有する。このため、通常の写真撮影だけでなく、例えば会議場でホワイトボードに描かれた文字や図形等を撮影することにも利用される。
【０００３】
デジタルカメラで文字や図形等が描かれたホワイトボードを撮影する場合、その撮影の目的はホワイトボード上の文字や図形等の情報を記録することにある。このため、上記のような撮影画像については、ホワイトボードの白地部分を確実に純白色にする、所謂下地とばし処理を行うことにより、文字や図形等の情報部分の明瞭度を向上させることが求められる。
【０００４】
下記特許文献１には、ホワイトボードを撮影する場合に、ホワイトボードの下地（白板部分）をとばし、文字や図形等の情報部分の明瞭度を向上させることを目的として、被写体光像を三原色の色成分の画素信号として取り込み、色成分の画像毎に、各色成分の画素信号を用いて所定の白地レベル以上の画素信号を白色飽和レベルに変換するγ特性を設定し、このγ特性を用いてガンマ補正を行うように構成したものが開示されている。
【０００５】
ところで、この方法によれば、純白色に変換される画素信号は、上記所定の白地レベルの値に応じて変化するため、白地レベルをどのように設定するかが重要となる。
【０００６】
下記特許文献２には、デジタルの画像信号の濃度ヒストグラムを作成し、この濃度ヒストグラムにおいて所定の度数を超える濃度を、予め設定された下地の限界濃度値から低濃度側に探索し、最初に所定の度数を超える濃度を下地濃度とする技術が開示されている。また、この特許文献２には、上記下地の限界濃度値を固定の値、もしくは画像処理装置の使用者による入力によって設定することも記載されている。
【０００７】
【特許文献１】
特開平１０−２１０２８７号公報
【特許文献２】
特開２００１−１０３３０９号公報
【０００８】
【発明が解決しようとする課題】
ところが、この場合、下地の限界濃度値から低濃度側にのみ探索するようにしているため、下地の限界濃度値より高濃度側に適切な下地濃度が存在する場合には、この下地濃度を検出することができない。
【０００９】
また、被写体の露光状態等に応じて下地レベルが変化するから、下地の限界濃度値を固定値とした場合には、各画像に最適な下地レベルが設定されるとは限らない。一方、画像処理装置の使用者による入力によって下地レベルを設定する場合には、画像処理装置の使用者に手間をかけることとなる。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、画像処理装置の使用者に手間をかけることなく、下地（白地）レベルを適切に設定することのできる画像処理方法及び画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、画像の画素に係る輝度のヒストグラムを生成し、全体画像における所定の中央領域の平均輝度を算出し、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出し、検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定し、設定された下地レベルに基づいて所定の画像処理を行うことを特徴とする画像処理方法である。
【００１２】
請求項５に記載の発明は、画像の画素に係る輝度のヒストグラムを生成するヒストグラム生成手段と、全体画像における所定の中央領域の平均輝度を算出する算出手段と、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出する輝度検出手段と、検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定する下地レベル設定手段と、設定された下地レベルに基づいて所定の画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置である。
【００１３】
請求項１または請求項５に記載の発明によれば、全体画像における所定の中央領域の平均輝度を算出するようにしたから、例えばホワイトボードを撮像した画像について、ホワイトボードの下地（白地）部分の輝度に近似する輝度を平均輝度として算出することができる。
【００１４】
また、画像の画素に係る輝度のヒストグラムを生成し、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出して、この検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定するようにしたから、度数が極大となる輝度が平均輝度より高輝度側に存在する場合であっても低輝度側に存在する場合であっても、その輝度を確実に検出することができ、その結果、下地レベルを適切に設定することができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成し、前記平均輝度を用いて前記下地レベルを設定することを特徴とするものである。
【００１６】
この発明によれば、前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成し、前記平均輝度を用いて前記下地レベルを設定するようにしたから、ホワイトボードに手書きされた画像のように、文字密度（白地部分に対する文字部分の比率）のばらつきが大きい場合や、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きい場合でも、撮像画像の各部位の文字密度及び照度に応じた下地レベルを設定することができる。
【００１７】
また、全体画像を複数のブロック画像に分割する際に、レンズの周辺光量落ちが発生している部分だけで一つのブロック画像が構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比して小さいサイズに分割したときには、レンズの周辺光量落ちが発生している輝度の低い部分と、その他の輝度の高い部分とが１つのブロックに混在するのが低減され、この輝度の高い部分に基づく不適切な下地レベルの設定が行われるのを防止又は抑制することができる。
【００１８】
請求項３に記載の発明は、請求項１または２に記載の画像処理方法において、色差信号の値が所定の閾値以下の画素を用いて前記ヒストグラムを作成することを特徴とするものである。
【００１９】
この発明によれば、色差信号の値が所定の閾値以下の画素を用いてヒストグラムを作成するようにしたので、例えばホワイトボードにオレンジ色や黄色等の比較的輝度の高いインクで書かれた文字のその輝度が下地レベルとして設定されるのを防止又は抑制することができる。
【００２０】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像処理方法において、前記所定の画像処理は、輝度値の大きさを変換する階調補正処理であることを特徴とするものである。
【００２１】
この発明によれば、前記所定の画像処理は、輝度値の大きさを変換する階調補正処理であるので、ホワイトボードの下地（白地）部分を純白色に補正するとともに、例えばホワイトボードの下地（白地）部分と文字部分とのコントラストを大きくすることができる。
【００２２】
【発明の実施の形態】
本発明の実施形態について説明する。
【００２３】
図１は、本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【００２４】
図１に示すように、デジタルカメラ１は、光学系２、撮像素子３、信号処理部４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、記憶部２２、ＶＲＡＭ２３、表示部２４及び操作部２５を備えて構成されている。
【００２５】
光学系２は、光軸方向に駆動されるズームレンズを含み、被写体の光像を撮像素子３の結像面上に結像するものである。
【００２６】
撮像素子３は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の色フィルタが１：２：１の比率で配設されてなるＣＣＤカラーエリアセンサである。
【００２７】
撮像素子３は、光学系２により結像された被写体の光像を、例えば１／３０（秒）毎にＲ（赤），Ｇ（緑），Ｂ（青）の色成分の電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。
【００２８】
撮像素子３は、図略のタイミングジェネレータ等により、撮像素子３の露出動作の開始及び終了や、撮像素子３における各画素の出力信号の読出し（水平同期、垂直同期、転送）等の撮像動作が制御される。
【００２９】
信号処理部４は、ＣＤＳ（相関二重サンプリング）回路やＡＧＣ（オートゲインコントロール）回路等を有し、撮像素子３から出力されるアナログの画像信号に、ＣＤＳ回路により画像信号のノイズの低減を行って、ＡＧＣ回路により画像信号のレベル調整を行う等の所定のアナログ信号処理を施すものである。
【００３０】
Ａ／Ｄ変換部５は、信号処理部４により出力されたアナログ値のＲ，Ｇ，Ｂの画像信号を、複数のビットからなるデジタル値の画像信号（以下、デジタル信号という）にそれぞれ変換するものである。
【００３１】
画像処理部６は、Ａ／Ｄ変換部５によりＡ／Ｄ変換されたＲ，Ｇ，Ｂの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランス、Ｒ（赤），Ｇ（緑），Ｂ（青）のデジタル信号のγ特性を補正するγ補正を行うものである。
【００３２】
画像メモリ７は、画像処理部６から出力される画像を一時的に記憶するとともに、この画像データに対し制御部８により後述の処理を行うための作業領域として用いられるメモリである。画像メモリ７は、例えばＲＡＭ等である。
【００３３】
制御部８は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる図略の記憶部が内蔵されたマイクロコンピュータからなり、上述したデジタルカメラ１内の各部分の駆動を有機的に制御して、デジタルカメラ１の撮影動作を統括的に制御するものである。
【００３４】
また、本実施形態においては、例えば文字や図等が描かれたホワイトボード等を撮影した場合に、この制御部８が、ホワイトボードの白地部分（文字等が描かれていない部分）を確実に純白色にし、かつ文字の明瞭化を行うための画像処理を行うところに特徴を有している。
【００３５】
ここで、この画像処理の概略について説明すると、画像処理部６から出力されるＲ，Ｇ，Ｂの各デジタル信号を、以下の処理上の都合から、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換する。そして、画像全体を複数のブロックに分割し、ブロックごとに、輝度Ｙについてのヒストグラムを生成する。
【００３６】
次に、生成したヒストグラムにおいて、ある輝度（後述する平均輝度Ｙａ）から低輝度側及び高輝度側に度数の極大部（ピーク）を探索し、このピークを用いて各ブロックにおける下地レベル（後述するブロック下地レベル）を設定する。次に、このブロック下地レベルを補正（平滑化）した後、この補正後のブロック下地レベルから画素ごとの下地レベル（後述する画素下地レベル）を算出する。
【００３７】
次に、上記画素下地レベルを用いて、画素ごとに階調補正を行った後、ノイズの除去処理及び文字等の断線部分の連結処理を行い、黒色ではなく、赤や黄等の輝度の比較的高いインクで書かれた文字等を見やすくするための階調補正を行う。
【００３８】
そして、文字領域等の彩度を向上させる処理及び輪郭補正処理を行った後、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂを元のＲ，Ｇ，Ｂの各デジタル信号に変換して終了する。
【００３９】
以上のような画像処理を実現すべく、図１に示すように、制御部８は、ＲＧＢ−ＹＣｒＣｂ変換部９、ブロック設定部１０、ヒストグラム生成部１１、ブロック下地レベル設定部１２、平滑化処理部１３、画素下地レベル演算部１４、第１階調補正処理部１５、ノイズ除去・連結部１６、第１彩度補正部１７、第２階調補正処理部１８、第２彩度補正部１９、輪郭補正部２０及びＹＣｒＣｂ−ＲＧＢ変換部２１を備える。
【００４０】
なお、以下の説明において、文字等が描かれたホワイトボードの板面のうち、文字等が描かれた部分を文字領域、何も描かれていない白色の部分を白板領域というものとする。
【００４１】
ＲＧＢ−ＹＣｒＣｂ変換部９は、輝度のヒストグラムを生成するため、画像処理部から出力されるＲ，Ｇ，Ｂの各デジタル信号を、次式（１）〜（３）に従って、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換するものである。
【００４２】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（１）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ …（２）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ …（３）
ブロック設定部１０は、ＲＧＢ−ＹＣｒＣｂ変換部９による変換処理後の画像を所定数のブロックに分割するものである。例えば、ブロック設定部１０は、図２（ａ）に示すように、文字「ＡＢＣ」が板面に書かれたホワイトボードを撮像素子３により撮像し、ＲＧＢ−ＹＣｒＣｂ変換部９により変換処理した画像を、図２（ｂ）に示すように、複数のブロックに分割する。
【００４３】
その際、本実施形態では、ブロック設定部１０は、例えば、できるだけレンズの周辺光量落ちが発生している部分だけで一つのブロックが構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比してできる限り小さいサイズに分割する。
【００４４】
これは、上述したように、各ブロックにおけるブロック下地レベルの設定を、ある輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、１つのブロックに、この周辺光量落ちが発生している部分と発生していない部分とが混在していると、例えば、そのブロックの適切なブロック下地レベルが、周辺光量落ちが発生している部分の輝度レベルであっても、周辺光量落ちが発生していない部分の輝度レベルがそのブロックのブロック下地レベルとして設定される場合が生じ、ブロック下地レベル設定部１２により不適切なブロック下地レベルが設定される虞があるからである。
【００４５】
なお、レンズの周辺光量落ちとは、レンズの外周側に入射する光が、レンズに対して斜めに入射することにより、レンズの単位面積あたりに入射される光量が、レンズの中央部に入射する光よりも少なくなり、その結果、画像の周辺（特に四隅）が暗くなる現象をいう。
【００４６】
また、上記のようにＲＧＢ−ＹＣｒＣｂ変換部９による変換処理後の画像を複数のブロックに分割するのは、ホワイトボードに手書きされたものは文字密度（白地部分に対する文字部分の比率）のばらつきが大きく、しかも写真撮影の場合は、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きいことから、撮像画像の各部位の文字密度及び照度に応じたブロック下地レベルを設定するためである。
【００４７】
ヒストグラム生成部１１は、ブロック設定部１０により生成された各ブロックに対し、ブロックの画素における輝度Ｙのヒストグラムを作成するものである。
【００４８】
図３は、輝度Ｙについての度数分布を示す各種のヒストグラムであり、横軸は輝度Ｙ、縦軸は画素数Ｎである。
【００４９】
例えば、輝度の低いインク（例えば黒のインク）で描かれた文字の領域、白板領域、光源（例えば電灯の光）を反射した領域やホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックの場合、そのヒストグラムは、図３（ａ）に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり（矢印Ａ）、白板領域の比較的高い或る輝度レベルで画素数が極大となり（矢印Ｂ）、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる（矢印Ｃ）。
【００５０】
また、非常に輝度の低い物体の領域、白板領域、光源（例えば電灯の光）を反射した領域及びホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図３（ｂ）に示すように、上記物体の領域の非常に低い或る輝度レベルで画素数が極大となり（矢印Ｄ）、白板領域の比較的高い或る輝度レベルで画素数が極大となり（矢印Ｅ）、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる（矢印Ｆ）。
【００５１】
また、輝度の低いインクで描かれた文字の領域、及び図３（ａ）の矢印Ｃや図３（ｂ）の矢印Ｆに示すピークの輝度レベルよりもさらに高い、光源を反射した領域等を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図３（ｃ）に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり（矢印Ｇ）、光源を反射した領域及びホワイトボードの金属枠の領域の非常に高い或る輝度レベルで画素数が極大となる（矢印Ｈ）。
【００５２】
さらに、輝度の低いインク（例えば黒のインク）で描かれた文字の領域、白板領域、光源（例えば電灯の光）を反射した領域及びホワイトボードの金属枠の領域に加えて、例えばオレンジ色や黄色等のインクで書かれた文字等、輝度が白板領域とやや近似する文字領域を撮像した画素を有するブロックについては、そのヒストグラムを忠実に作成すると、例えば図３（ｄ）に示すように、図３（ａ）に示すヒストグラムに対し、さらに白板領域の輝度レベルよりやや低い輝度レベルにおいてピーク（矢印Ｉ）を有するものとなる。
【００５３】
しかし、上述したように、各ブロックにおけるブロック下地レベルの設定を、或る輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、オレンジ色等のインクで書かれた文字等の領域の輝度が、白板領域の輝度と後述する画像全体の輝度との間の値となった場合、白板領域の輝度をブロック下地レベルと設定すべきところを、オレンジ色のインクで書かれた文字等の領域の輝度をブロック下地レベルと誤って設定される虞がある。
【００５４】
そこで、本実施形態においては、図３（ｅ）に示すように、色差信号Ｃｒ，Ｃｂの値が所定の閾値以下、すなわち彩度の低い画素データだけを用いてヒストグラムを作成することにより、白板領域と近似する文字領域の輝度レベルにおけるピークを予め除去しておくようにしている。
【００５５】
ブロック下地レベル設定部１２は、撮影対象の目的物の背景（上記の例ではホワイトボードの白板領域）を下地というものとすると、ブロックごとに作成したヒストグラムを用いて、各ブロックに対して下地の輝度レベルを設定するものである。なお、このように設定したブロックにおける下地の輝度レベルをブロック下地レベルという。
【００５６】
ブロック下地レベル設定部１２は、まず、ホワイトボードの板面の平均輝度を算出する。ここで、ホワイトボードは、画像の中央部分に存在する可能性が高いと考えられるから、ブロック下地レベル設定部１２は、図２（ｃ）に示すように、ホワイトボードの板面の平均輝度を正確に算出するために、画像の中央部分（例えば画像全体の縦横それぞれ６０％の中央部分）から平均輝度Ｙａを算出する。
【００５７】
そして、上記のような各種のヒストグラムにおいて、複数の極大値を有する輝度レベルのうち、算出した画像の平均輝度Ｙａに最も近い輝度レベルを、ブロック下地レベルとして設定する。
【００５８】
例えば、あるブロックについてのヒストグラムが、図４（ａ）に示すものとなったとし、算出された画像の平均輝度Ｙａが図４（ａ）に示す輝度であるものとすると、まず、平均輝度Ｙａから高輝度側（矢印Ｐの方向）に、各輝度レベルにおける頻度値（度数）の大小を判定していく。そして、最初に現れたピークをピークＹ_Ｈとする。
【００５９】
なお、このピークＹ_Ｈの検出は、例えば、或る輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【００６０】
ここで、図４（ｂ）に示すような非常に高い輝度レベル（矢印Ｊ）がブロック下地レベルとして設定されると、次のような不具合がある。
【００６１】
すなわち、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素、特に中心画素の近傍に位置する画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００６２】
本実施形態では、このような不具合を防止すべく、図４（ｃ）に示すように、上述した非常に高い輝度レベルよりも小さい上限値Ｙｍａｘ（輝度レベルを２５６階調で表現するものとすると例えば２５０階調）を設定し、この上限値Ｙｍａｘまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【００６３】
これにより、ブロックが、非常に高い輝度（本実施形態においては、階調が２５０を超える輝度）を有する被写体を撮像した画素が存在するものであっても、このような輝度がブロック下地レベルとして設定されるのを防止することができる。
【００６４】
一方、図４（ｂ）に示すようなヒストグラムを有するブロックの場合には、平均輝度Ｙａから上限値Ｙｍａｘまでの間にピークを有しないので、上記のように上限値Ｙｍａｘまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Ｙａよりも低い輝度を有するものである場合にも、ピークは検出されない。
【００６５】
この場合には、上記平均輝度Ｙａを、該ブロックのブロック下地レベルとして設定することにより、背景（白地）の輝度レベルに近い輝度レベルをブロック下地レベルとして設定することができる。
【００６６】
次に、図４（ａ）に示すヒストグラムにおいて、図４（ｄ）に示すように、平均輝度Ｙａから低輝度側（矢印Ｑの方向）に、各輝度レベルにおける頻度値の大小を判定していく。このとき、最初に現れたピークをピークＹ_Ｌとする。
【００６７】
なお、このピークＹ_Ｌの検出は、ピークＹ_Ｈの検出と同様、例えば、ある輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【００６８】
また、図４（ｅ）に示すように、ホワイトボードに貼着しているマグネットや非常に暗い背景など、非常に低い輝度レベルがブロック下地レベルとして設定されると、次のような不具合がある。
【００６９】
すなわち、上記と同様、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００７０】
本実施形態では、このような不具合を防止すべく、図４（ｆ）に示すように、上述した非常に低い輝度レベルよりも大きい下限値Ｙｍｉｎ（輝度レベルを２５６階調で表現するものとすると例えば１０階調）を設定し、この下限値Ｙｍｉｎまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【００７１】
一方、図４（ｅ）に示すようなヒストグラムを有するブロックの場合、平均輝度Ｙａから下限値Ｙｍｉｎまでの間にピークを有しないので、上記のように下限値Ｙｍｉｎまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Ｙａよりも高い輝度を有するものである場合にも、ピークは検出されない。
【００７２】
この場合には、上記平均輝度Ｙａを、該ブロックのブロック下地レベルとして設定することにより、背景の輝度レベルに近い輝度レベルをピークレベルとして設定することができる。
【００７３】
以上のように、高輝度側のピークＹ_Ｈと低輝度側のピークＹ_Ｌとを検出した場合には、いずれか平均輝度Ｙａに近い方を、そのブロックのブロック下地レベルＹｂとして設定する。例えば、図４（ｇ）においては、
Ｙａ−Ｙ_Ｌ＞Ｙ_Ｈ−Ｙａ …（４）
であるから、高輝度側のピークＹ_Ｈをそのブロックのブロック下地レベルＹｂとして設定する。
【００７４】
ところで、ホワイトボードに写った光源や、該ホワイトボードの金属枠の領域、あるいはホワイトボードに貼着されたマグネットなどの領域の輝度が上限値Ｙｍａｘと下限値Ｙｍｉｎとの間の値であった場合でも、これらの領域を撮像したブロックにあっては、該ブロックの輝度のヒストグラムのみに基づいてブロック下地レベルを設定するように構成すると、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されることとなる。
【００７５】
しかし、上記と同様、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００７６】
平滑化処理部１３は、この問題を回避すべく、全ての画素について、画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に、ブロック下地レベル設定部１２により設定した各ブロックのブロック下地レベルの平滑化（隣接するブロックとのブロック下地レベルの差を小さくすること）を行うものである。
【００７７】
平滑化処理を画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に行うのは、電灯光の反射光等が写る可能性の少ない画像の中央に位置する画素から平滑化処理を行うことで、より適切な画素下地レベルを設定するためである。
【００７８】
図５は、平滑化処理部１３による平滑化処理を説明するための図である。
【００７９】
図５に示すように、平滑化処理部１３は、平滑化を行う対象のブロック（以下、注目ブロックという、図５において斜線で示す）に対して平滑化処理を行うにあたり、当該注目ブロックを含む、縦横それぞれ所定数のブロック（本実施形態では、縦横それぞれ３ブロック）からなるブロック群を用いる。
【００８０】
その際、この平滑化に用いるブロック（以下、平滑化ブロックという）を、注目ブロックが画像の中心Ｏから最も離間する角部に位置するように決定する。例えば、図５に示すように、画像全体を画像の中心Ｏを含む線分で縦横それぞれ２等分割し、注目ブロックが左上領域Ｔ１に位置するときには、注目ブロックが左上角部に位置するように平滑化ブロックを決定する。
【００８１】
これと同様に、注目ブロックが左下領域Ｔ２に位置するときには、注目ブロックが左下角部に位置するように平滑化ブロックを決定し、右上領域Ｔ３に位置するときには、注目ブロックが右上角部に位置するように平滑化ブロックを決定し、右下領域Ｔ４に位置するときには、注目ブロックが右下角部に位置するように平滑化ブロックを決定する。
【００８２】
なお、図５は、各領域Ｔ１〜Ｔ４における１組の注目ブロック及び平滑化ブロックをそれぞれ抽出し描いたものである。
【００８３】
このように平滑化ブロックを設定するのは、光源の反射やホワイトボードの金属枠が存在する領域は、画像の周辺に位置することが多い一方、より画面中央に近い領域は、光源などの影響を受けていない領域が存在する可能性が高いことから、光源などの影響を受けていない、画面中央側のブロックを注目ブロックの平滑化に利用することで、注目ブロックのブロック下地レベルと、隣接するブロックのブロック下地レベルとの差が小さくなり、適切に平滑化を行うことができるからである。
【００８４】
平滑化処理部１３は、このように設定した平滑化ブロックと注目ブロックとの中で、輝度の低い所定数（本実施形態では３つ）のブロックを抽出し、これらのブロックのブロック下地レベルの平均Ｙａｂを算出して、この平均値Ｙａｂを注目ブロックのブロック下地レベルに設定する。
【００８５】
また、図５（ｂ）に示すように、光源の反射光が写っている可能性の少ない画像の中央に位置するブロックから平滑化処理を行って、ブロック下地レベルを適切に設定すべく、例えば右上領域Ｔ３におけるブロックに番号を付したとき、平滑化処理部１３は、例えば１→２→６→５→９→１０→１１→７→３→４→８→１２→・・・や、１→２→６→５→３→７→１１→１０→９→４→８→１２→・・・、あるいは、１→２→５→３→６→９→４→７→１０→８→１１→１２・・・や、１→２→５→９→６→３→４→７→１０→８→１１→１２・・・などのように、画像の中央側に位置するブロックから周辺側に位置するブロックに向かって順番に平滑化処理を行っていく。
【００８６】
画素下地レベル演算部１４は、平滑化処理部１３により平滑化処理が施された各ブロックのブロック下地レベルを、それぞれ対応するブロックの中心位置に位置する画素（以下、中心画素という）の下地レベルとみなした上で、各中心画素間に位置する画素の下地レベル（以下、画素下地レベルという）を線形補間により算出する。
【００８７】
図６において、１つのマスが１つのブロックを表すものとし、ブロックＢ１の中心画素Ｇ１の画素下地レベルをＹ１、ブロックＢ２の中心画素Ｇ２の画素下地レベルをＹ２、ブロックＢ３の中心画素Ｇ３の画素下地レベルをＹ３、ブロックＢ４の中心画素Ｇ４の画素下地レベルをＹ４とすると、例えばブロックＢ１内の任意の画素Ｇｘの画素下地レベルＹ_Ｇを、これらの画素下地レベルＹ１〜Ｙ４により算出する。
【００８８】
すなわち、画素Ｇｘの画素下地レベルＹ_Ｇを次式（５）
Ｙ_Ｇ＝（α・Ｙ１＋β・Ｙ２＋γ・Ｙ３＋δ・Ｙ４）／４ …（５）
により算出する。なお、α，β，γ，δは重み係数であり、各重み係数は、画素Ｇｘから各ブロックＢ１〜Ｂ４の中心画素Ｇ１〜Ｇ４までの距離に比例する関係を有する。
【００８９】
第１階調補正処理部１５は、画素下地レベル演算部１４により算出された画素下地レベルを用いて、画素ごとに、図７に示すような補正関数を設定し、この補正関数に基づいて階調補正を行うものである。
【００９０】
図７は、第１階調補正処理部１５による階調補正の補正関数を示すものであり、横軸は、第１階調補正処理部１５の入力（ＲＧＢ−ＹＣｒＣｂ変換処理後の画像の画素の輝度レベル）、縦軸は、第１階調補正処理部１５の出力である。
【００９１】
図７に示す補正関数の場合は、入力が１００未満のときには、出力を０とし、入力が画素下地レベル演算部１４により算出された画素下地レベルＹβ以上のときには、出力を２５５とする。また、入力レベルが１００から上記画素下地レベルＹβまでの間においては、入力と出力とを線形的な関係とし、この線形関数にしたがって階調補正を行う。
【００９２】
この階調補正によれば、ＲＧＢ−ＹＣｒＣｂ変換処理後の画像における各画素の輝度レベルが、当該画素の画素下地レベル演算部１４により算出された画素下地レベルＹβ以上であるものについて、その輝度レベルが最高輝度（本実施形態ではＹ＝２５５）に変換されるので、背景（白板）とすべき領域が、純白色に設定される。
【００９３】
また、次式（６）で表される輝度レベルＹ_Ｑ
Ｙ_Ｑ＝｛２５５００／（３５５−Ｙβ）｝ …（６）
を境界とし、この値Ｙ_Ｑより小さい輝度レベルを有する画素については、出力レベルが入力レベルより小さい値に変換されることから、輝度レベルが上記式（６）に示すＹ_Ｑの値より小さい輝度レベルを有する文字領域について、背景とのコントラストが大きくされる。
【００９４】
ところで、画像処理部６により画像処理が施された画像に、小さな点状のノイズが含まれている場合、ノイズが発生している部分の画素については、ノイズが発生していない場合における当該画素の画素下地レベルより低い輝度レベルを有することとなる。したがって、このような画素については、図７に示す補正関数による階調補正を行っても、純白色（階調を２５５）に変換することができない。
【００９５】
また、例えば図７に示すように、入力レベルが画素下地レベル演算部１４により算出された画素下地レベルＹβ以上である領域については、第１階調補正処理部１５による階調補正により、最高輝度（階調２５５）に変換されることから、ＲＧＢ−ＹＣｒＣｂ変換処理後の画像における文字の一部分に、画素下地レベル演算部１４により算出された画素下地レベルＹβ以上である領域（インクが薄い領域やかすれている領域等）が存在した場合には、この部分で筆跡が途切れることとなる。
【００９６】
ノイズ除去・連結部１６は、このようなノイズを除去して本来の背景色（純白色）に補正するとともに、筆跡が途切れた部分（断線部分）を連結する処理を行うものである。
【００９７】
図８は、ノイズ除去・連結部１６によるノイズ除去・連結処理を説明するための図である。
【００９８】
例えば図８（ａ）に示すように、ノイズや途切れた部分が存在するものとすると、全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する（以下、この処理を平均値処理という）。これにより、図８（ｂ）に示すように、平均値処理後の画像は、文字やノイズがぼやけたものとなる。
【００９９】
そして、ノイズ除去・連結部１６は、平均値処理後の画像であって、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合には、その画素は孤立点、すなわちノイズと判定し、輝度レベルを最高輝度に変換する。これにより、図８（ｃ）に示すように、ノイズを除去することができる（以下、この処理を孤立点除去処理という）。
【０１００】
また、文字の途切れた部分を連結し、且つぼかした文字を明瞭にするため、ノイズ除去・連結部１６は、第１階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを比較して、次のような処理を行う。
【０１０１】
すなわち、ノイズ除去・連結部１６は、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素については、白板領域を撮像したものであると判断し、その画素の輝度レベルを最高輝度（純白色）に設定する。
【０１０２】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素については、次のように処理する。
【０１０３】
第１階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素には、本来、文字領域とすべき、上記の階調補正によって筆跡が途切れた部分の画素と、第１階調補正処理後の画像においては最高輝度を有していたが平均値処理後に最高輝度でなくなった、文字領域とすべきではない画素（例えば、図８（ｂ）の矢印Ｌで示す領域の画素）とが含まれている。
【０１０４】
そこで、本実施形態では、図８（ｅ）に示すように、上記所定の方向に上記所定数以上連続している２個の画素列のうち一方の画素列が他方の画素列の延長線上に存在するか否かを判断することにより、断線部分及びその断線部分における筆跡の方向（矢印Ｋ）を第１階調補正処理後の画像から検出するとともに、文字領域とすべき領域の画素（図８（ｅ）の斜線部分）を検出する。
【０１０５】
そして、この文字領域とすべき領域の画素については、上記の階調補正によって文字の筆跡が途切れ、この途切れた部分が平均値処理により繋がったものと判断して、文字領域と考えられる周辺の画素を用いて輝度レベルを算出する。すなわち、当該画素の周辺に位置する８つの画素の輝度レベルの平均値をその輝度レベルに設定する。これにより、断線部分が連結される。
【０１０６】
一方、上述の文字領域とすべきではない画素については、その輝度レベルを最高輝度（純白色）に設定する。
【０１０７】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像においては最高輝度を有さず、平均値処理及び孤立点除去処理後に最高輝度となった画素については、ノイズ（孤立点）を撮像し、このノイズが孤立点除去処理によって除去されたものと判断して、その画素の輝度レベルを孤立点除去処理において変換された最高輝度に維持する。
【０１０８】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない画素については、文字領域を撮像したものであると判断し、その画素の輝度レベルを第１階調補正処理後の画像における当該画素の輝度レベルに設定する。
【０１０９】
これにより、図８（ｄ）に示すように、図８（ａ）に対しノイズが除去され、且つ文字の途切れた部分が連結され、且つぼかした文字が明瞭化された画像が得られる。
【０１１０】
第１彩度補正部１７は、ノイズ除去・連結部１６による処理後の輝度が最高輝度（階調２５５）に変換された画素について、彩度を有することのないように、色差信号Ｃｒ，Ｃｂの値を０にする補正を行うものである。
【０１１１】
第２階調補正処理部１８は、最高輝度を有しない画素を、文字領域を撮像した画素であると判断して、図９に示すような補正関数により階調補正を行うものである。
【０１１２】
図９においては、入力レベルが１２８以下のときには、出力レベルを入力レベルと同一とし、例えばオレンジ色のインクで書かれた文字等、色の薄い文字等を見やすくするために、入力レベルが１２８より大きく２５５以下のときには、補正関数の傾きを入力レベルが１２８以下の場合の補正関数に比して緩やかにすることで、階調１２８を超える比較的高い輝度を有する画素が撮像した画像について、暗めに階調補正される。なお、この階調補正は、制御部８の各部による各種処理が終了した画像を所定の画像形成装置で印刷した場合に、上記のような文字を見やすくすることを特に考慮して行われている。
【０１１３】
第２彩度補正部１９は、ホワイトボードに書かれた文字等を見やすくするために、階調補正後の文字領域に対して、色差信号Ｃｒ，Ｃｂに所定のゲインをかけて、彩度を増加させるものである。
【０１１４】
輪郭補正部２０は、周知の一般的な手法により、文字等の輪郭を強調する輪郭補正を行うものである。
【０１１５】
ＹＣｒＣｂ−ＲＧＢ変換部２１は、輪郭補正部２０により輪郭補正が施された輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂを、次式（７）〜（９）にしたがって、ＲＧＢの画像信号に変換するものである。
【０１１６】
Ｒ＝Ｙ＋１．４０２Ｃｒ …（７）
Ｇ＝Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ …（８）
Ｂ＝Ｙ＋１．７７２Ｃｂ …（９）
記憶部２２は、制御部８における上述した各種の処理が施された画像を記憶するものである。
【０１１７】
ＶＲＡＭ２３は、表示部２４に表示される画像のバッファメモリであり、表示部２４の画素数に対応した画像の記憶容量を有する。
【０１１８】
表示部２４は、制御部８における上述した各種の処理が施され、ＶＲＡＭ２３に一時的に記憶された画像を表示するものである。
【０１１９】
操作部２５は、ホワイトボード等を撮影するため、制御部８に上述の各種処理を実行させるモードと、これらの処理を行わないで通常の撮影動作を実行させるモードとを切り替えるための操作部を含む。
【０１２０】
次に、本発明の画像処理方法の手順について説明する。
【０１２１】
図１０は、本発明の画像処理方法の手順を示すフローチャートである。
【０１２２】
図１０に示すように、まず、画像処理部６によりＲ，Ｇ，Ｂの各デジタル信号が出力される（ステップ♯１）と、ＲＧＢ−ＹＣｒＣｂ変換部９により、これらのデジタル信号が輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換された（ステップ♯２）後、ブロック設定部１０により、画像全体が複数のブロックに分割され（ステップ♯３）、ヒストグラム生成部１１により、ブロックごとにブロックの画素における輝度Ｙのヒストグラムが生成される（ステップ♯４）。
【０１２３】
そして、ブロック下地レベル設定部１２により、生成したヒストグラムを用いて各ブロックにおけるブロック下地レベルが設定され（ステップ♯５）、平滑化処理部１３により、このブロック下地レベルが平滑化された（ステップ♯６）後、画素下地レベル演算部１４により、この平滑化処理後のブロック下地レベルから画素ごとに画素下地レベルが算出される（ステップ♯７）。
【０１２４】
次に、第１階調補正処理部１５により、上記画素下地レベルを用いて、画素ごとに階調補正が行われ（ステップ♯８）、ノイズ除去・連結部１６により、ノイズの除去処理及び文字等の断線部分の連結処理が行われる（ステップ♯９）。
【０１２５】
そして、ノイズ除去・連結部１６による処理後の画素の輝度が最高輝度を有しない場合（ステップ♯１０でＹＥＳ）には、第２階調補正処理部１８により、その画素の輝度に対し図９に示す補正関数により階調補正が行われた（ステップ♯１１）後、第２彩度補正部１９により、文字領域等の彩度を向上するための処理が行われる（ステップ♯１２）。一方、ステップ♯１０において、ノイズ除去・連結部１６による処理後の画素の輝度が最高輝度を有する場合（ステップ♯１０でＮＯ）には、第１彩度補正部により、その画素について、色差信号Ｃｒ，Ｃｂの値を０にする補正が行われる（ステップ♯１３）。
【０１２６】
そして、ステップ♯１２又は♯１３の処理が終了すると、輪郭補正部２０により輪郭補正処理が行われた（ステップ♯１４）後、ＹＣｒＣｂ−ＲＧＢ変換部２１により輝度信号Ｙ及び色差信号Ｃｒ，ＣｂをＲ，Ｇ，Ｂの各デジタル信号に変換される（ステップ♯１５）。
【０１２７】
図１１は、図１０のステップ♯５のブロック下地レベル設定部１２によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【０１２８】
図１１に示すように、ホワイトボードの板面の平均輝度Ｙａが算出され（ステップ♯２１）、この平均輝度Ｙａから高輝度側に上限値Ｙｍａｘまで、各輝度レベルにおける頻度値の大小判定が行われる（ステップ♯２２）。
【０１２９】
そして、ピークが存在したか否かが判定され（ステップ♯２３）、ピークが存在する場合（ステップ♯２３でＹＥＳ）には、最初に検出されたピークＹ_Ｈが高輝度側のピークとして設定され（ステップ♯２４）、ピークが存在しない場合（ステップ♯２３でＮＯ）には、平均輝度Ｙａが高輝度側のピークとして設定される（ステップ♯２５）。
【０１３０】
次に、平均輝度Ｙａから低輝度側に下限値Ｙｍｉｎまで、各輝度レベルにおける頻度値の大小判定が行われ（ステップ♯２６）、ピークが存在したか否かが判定される（ステップ♯２７）。
【０１３１】
その結果、ピークが存在する場合（ステップ♯２７でＹＥＳ）には、最初に検出されたピークＹ_Ｌが低輝度側のピークとして設定され（ステップ♯２８）、ピークが存在しない場合（ステップ♯２７でＮＯ）には、平均輝度Ｙａが低輝度側のピークとして設定される（ステップ♯２９）。
【０１３２】
そして、ステップ♯２４及び♯２８で設定された高輝度側のピークＹ_Ｈと低輝度側のピークＹ_Ｌとについて、いずれか平均輝度Ｙａに近い方が、そのブロックのブロック下地レベルＹｂとして設定される（ステップ♯３０）。
【０１３３】
以上の処理が全てのブロックについて終了するまで（ステップ♯３１でＮＯ）、処理対象のブロックを順番に変えて（ステップ♯３２）、ステップ♯２２〜♯３０までの処理が行われ、全てのブロックについてブロック下地レベル設定処理が終了する（ステップ♯３１でＹＥＳ）と、ブロック下地レベル設定部１２による処理を終了する。
【０１３４】
図１２は、図１０におけるステップ♯６の平滑化処理部１３による平滑化処理の詳細な手順を示すフローチャートである。
【０１３５】
図１２に示すように、まず、注目ブロックが、画像の左上領域に位置するとき（ステップ♯４１でＹＥＳ）、この注目ブロックが左上角部に位置するように平滑化ブロックが決定され（ステップ♯４２）、注目ブロックが、画像の左下領域に位置するとき（ステップ♯４３でＹＥＳ）、この注目ブロックが左下角部に位置するように平滑化ブロックが決定され（ステップ♯４４）、注目ブロックが、画像の右上領域に位置するとき（ステップ♯４５でＹＥＳ）、この注目ブロックが右上角部に位置するように平滑化ブロックが決定され（ステップ♯４６）、注目ブロックが右下領域に位置するとき（ステップ♯４５でＮＯ）、この注目ブロックが右下角部に位置するように平滑化ブロックが決定される（ステップ♯４７）。
【０１３６】
ステップ♯４１，♯４３，♯４５、♯４７のいずれかで決定された平滑化ブロックと注目ブロックとの中で、輝度の低い３つのブロックが抽出された（ステップ♯４８）後、これらのブロックのブロック下地レベルの平均Ｙａｂが算出され（ステップ♯４９）、この平均値Ｙａｂが注目ブロックのブロック下地レベルに設定される（ステップ♯５０）。
【０１３７】
以上の処理が全てのブロックについて終了するまで（ステップ♯５１でＮＯ）、処理対象のブロックを順番に変えて（ステップ♯５２）、ステップ♯４１〜♯５０までの処理が行われ、全てのブロックについて平滑化処理が終了する（ステップ♯５１でＹＥＳ）と、平滑化処理部１３による処理を終了する。
【０１３８】
図１３は、図１０におけるステップ♯９のノイズ除去・連結部１６によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【０１３９】
図１３に示すように、全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理が行われ（ステップ♯６１）、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理が行われる（ステップ♯６２）。
【０１４０】
そして、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素（ステップ♯６３，♯６４でＹＥＳ）については、その画素の輝度レベルが最高輝度に設定される（ステップ♯６５）。
【０１４１】
一方、第１階調補正処理後の画像においては最高輝度を有し（ステップ♯６３でＹＥＳ）、平均値処理及び孤立点除去後に最高輝度でなくなった（ステップ♯６４でＮＯ）画素については、文字領域とすべき画素であるか否かが判定され（ステップ♯６６）、文字領域とすべき画素である場合（ステップ♯６６でＹＥＳ）には、文字領域と考えられる周辺の画素を用いて輝度レベルが算出され（ステップ♯６７）、文字領域とすべきでない画素である場合（ステップ♯６６でＮＯ）には、その画素の輝度レベルが最高輝度に設定される（ステップ♯６８）。
【０１４２】
また、第１階調補正処理後の画像においては最高輝度を有さず（ステップ♯６３でＮＯ）、平均値処理及び孤立点除去処理後に最高輝度となった（ステップ♯６９でＹＥＳ）画素については、その画素の輝度レベルが孤立点除去処理において変換された最高輝度に維持され（ステップ♯７０）、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない（ステップ♯６３，♯６９でＮＯ）画素については、その画素の輝度レベルが第１階調補正処理後の画像における当該画素の輝度レベルに設定される（ステップ♯７１）。
【０１４３】
このように、画像の画素に係る輝度のヒストグラムを生成し、このヒストグラムにおいて平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出して、この検出された輝度のうち平均輝度との差が最も小さい輝度を、そのヒストグラムを生成した対象のブロックのブロック下地レベルとして設定するようにしたから、ピークとなる輝度が平均輝度Ｙａｂより高輝度側に存在する場合であっても低輝度側に存在する場合であっても、適切なブロック下地レベルを設定することができ、その結果、ホワイトボードの白地部分を確実に純白色にすることができる。
【０１４４】
また、画像の中央部分に存在する可能性が高いと考えられる画像の中央領域における平均の輝度を算出し、これを上記平均輝度Ｙａｂとして設定するようにしたから、ホワイトボードの白地部分の輝度に近似する輝度を平均輝度として設定することができる。
【０１４５】
また、全体画像を複数のブロックに分割し、ブロックごとにヒストグラムを生成して、ブロック下地レベルを設定するようにしたから、ホワイトボードに手書きされた画像のように、文字密度（白地部分に対する文字部分の比率）のばらつきが大きく、また、光源が一定でなく、画像内で照度分布が大きく異なり、撮像画像内の照度ムラが大きい場合でも、撮像画像の各部位の文字密度及び照度に応じたブロック下地レベルを設定することができる。
【０１４６】
また、全体画像を複数のブロックに分割する場合に、レンズの周辺光量落ちが発生している部分だけで一つのブロックが構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比して小さいサイズに分割するようにしたので、レンズの周辺光量落ちが発生している輝度の低い部分と、その他の輝度の高い部分とが１つのブロックに混在するのが低減され、この輝度の高い部分に基づく不適切な下地レベルの設定が行われるのを回避することができる。
【０１４７】
また、色差信号Ｃｒ，Ｃｂの値が所定の閾値以下の画素を用いてヒストグラムを作成するようにしたので、適切な輝度がブロック下地レベルとして設定されず、例えばホワイトボードにオレンジ色のインクで書かれた文字の輝度がブロック下地レベルとして設定されるのを防止することができる。
【０１４８】
また、画素ごとに算出された画素下地レベルＹβ以上の輝度を有する画素の輝度を、最高輝度に変換するようにしたから、ホワイトボードの白地部分及びそれ以上の輝度を有する部分が純白色に設定されるとともに、上式（６）で表される輝度より小さい輝度Ｙ_Ｑを有する画素について、出力レベルが入力レベルより小さい値に変換するようにしたから、輝度が上記輝度Ｙ_Ｑの値より小さい輝度レベルを有する文字について、背景（白地）とのコントラストを大きくすることができる。
【０１４９】
なお、本発明は、上記実施形態に限らず、次の変形形態（１），（２）が採用可能である。
【０１５０】
（１）上記実施形態においては、ＲＧＢ−ＹＣｒＣｂ変換部９、ブロック設定部１０、ヒストグラム生成部１１、ブロック下地レベル設定部１２、平滑化処理部１３、画素下地レベル演算部１４、第１階調補正処理部１５、ノイズ除去・連結部１６、第１彩度補正部１７、第２階調補正処理部１８、第２彩度補正部１９、輪郭補正部２０及びＹＣｒＣｂ−ＲＧＢ変換部２１をデジタルカメラ１に搭載する場合について説明したが、これに限らず、図１４に示すように、パーソナルコンピュータ２６（以下、ＰＣ２６という）の制御部２７に搭載するように構成してもよい。
【０１５１】
この場合、図１４に示すように、ＰＣ２６は、例えばデジタルカメラなどの画像入力装置２８からγ補正等の処理を施した画像を取り込み、上述のようにヒストグラムの生成、ブロック下地レベルの設定、平滑化処理、画素下地レベルの算出、ノイズ除去・連結処理等を行った後、ハードディスク装置等の画像記憶装置２９に記憶する。
【０１５２】
また、この画像を紙面への印刷等の出力を行う場合には、ＰＣ２６は、画像記憶装置２９から該画像を取り込み、プリンタ等の画像出力装置２９に画像を送出し、その画像出力装置３０にプリントアウトを行わせるようにしてもよい。なお、操作部３１は、制御部２７にヒストグラムの生成処理等の実行を指示する入力を行うためのもので、マウスやキーボードを指す。
【０１５３】
（２）図１４に示すＰＣ２６及び上記実施形態におけるデジタルカメラ１は、所定のプログラムにより、機能的に、ＲＧＢ−ＹＣｒＣｂ変換部９，３２、ブロック設定部１０，３３、ヒストグラム生成部１１，３４、ブロック下地レベル設定部１２，３５、平滑化処理部１３，３６、画素下地レベル演算部１４，３７、第１階調補正処理部１５，３８、ノイズ除去・連結部１６，３９、第１彩度補正部１７，４０、第２階調補正処理部１８，４１、第２彩度補正部１９，４２、輪郭補正部２０，４３及びＹＣｒＣｂ−ＲＧＢ変換部２１，４４を備えて、各種の処理を実行するようにしたものであるが、これに限られず、ハードウェアにより、これらの処理を実行する構成としてもよい。
【０１５４】
なお、所定のプログラムにより、制御部８，２７に上記各部を備える場合には、例えばフレキシブルディスク、ＣＤ−Ｒ、あるいはＤＶＤ−Ｒなどの外部の記録媒体との間でデータの読み書きを行う図略の装置を用いて、ＰＣ２６を、ＲＧＢ−ＹＣｒＣｂ変換部９，３２、ブロック設定部１０，３３、ヒストグラム生成部１１，３４、ブロック下地レベル設定部１２，３５、平滑化処理部１３，３６、画素下地レベル演算部１４，３７、第１階調補正処理部１５，３８、ノイズ除去・連結部１６，３９、第１彩度補正部１７，４０、第２階調補正処理部１８，４１、第２彩度補正部１９，４２、輪郭補正部２０，４３及びＹＣｒＣｂ−ＲＧＢ変換部２１，４４として機能させるためのプログラムを記録した記録媒体から該プログラムをインストールするようにし、ＰＣ２６はこのプログラムをインストールすることで、機能的にＲＧＢ−ＹＣｒＣｂ変換部９，３２等を備えるように構成するとよい。
【０１５５】
以上、本明細書で開示された主な発明を次にまとめる。
【０１５６】
［付記１］ 画像の画素に係る輝度のヒストグラムを生成し、全体画像における所定の中央領域の平均輝度を算出し、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出し、検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定し、設定された下地レベルに基づいて所定の画像処理を行うことを特徴とする画像処理方法。
【０１５７】
［付記２］ 前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成し、前記平均輝度を用いて前記下地レベルを設定することを特徴とする付記１に記載の画像処理方法。
【０１５８】
［付記３］ 色差信号の値が所定の閾値以下の画素を用いて前記ヒストグラムを作成することを特徴とする付記１または２に記載の画像処理方法。
【０１５９】
［付記４］ 前記所定の画像処理は、輝度値の大きさを変換する階調補正処理であることを特徴とする付記１ないし３のいずれかに記載の画像処理方法。
【０１６０】
［付記５］ 画像の画素に係る輝度のヒストグラムを生成するヒストグラム生成手段と、全体画像の所定の中央領域における平均輝度を算出する算出手段と、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出する輝度検出手段と、検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定する下地レベル設定手段と、設定された下地レベルに基づいて所定の画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
【０１６１】
［付記６］ 前記ヒストグラム生成手段は、前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成することを特徴とする付記５に記載の画像処理装置。
【０１６２】
［付記７］ 前記ヒストグラム生成手段は、色差信号の値が所定の閾値以下の画素を用いて前記ヒストグラムを作成することを特徴とする付記５または６に記載の画像処理装置。
【０１６３】
［付記８］ 前記輝度検出手段は、検出する輝度の範囲を限定して、度数が極大となる輝度を検出することを特徴とする付記５ないし７のいずれかに記載の画像処理装置。
【０１６４】
この発明によれば、非常に高い輝度レベルがブロック下地レベルとして設定された場合に、該ブロック下地レベルより低い輝度レベルを有する下地領域を撮像した画素の輝度レベルが最高輝度に変換されず、その結果、下地領域を純白色にする下地とばし処理を適切に行うことができなくなったり、非常に低い輝度レベルがブロック下地レベルとして設定された場合に、このブロック下地レベルより高い輝度レベルを有する文字領域等まで純白色に変換されたりするのを防止することができる。
【０１６５】
［付記９］ 前記画像処理手段は、輝度値の大きさを変換する階調補正処理を行うことを特徴とする付記５ないし８のいずれかに記載の画像処理装置。
【０１６６】
［付記１０］ 画像処理装置に、
画像の画素に係る輝度のヒストグラムを生成するヒストグラム生成手段と、
画像の所定の中央領域における平均輝度を算出する算出手段と、
前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出する輝度検出手段と、
検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定する下地レベル設定手段と、
設定された下地レベルに基づいて所定の画像処理を行う画像処理手段
としての機能を搭載するためのプログラム。
【０１６７】
［付記１１］ 画像処理装置に、
画像の画素に係る輝度のヒストグラムを生成するヒストグラム生成手段と、
画像の所定の中央領域における平均輝度を算出する算出手段と、
前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出する輝度検出手段と、
検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定する下地レベル設定手段と、
設定された下地レベルに基づいて所定の画像処理を行う画像処理手段
としての機能を搭載するためのプログラムが記録された、前記画像処理装置により読取可能な記録媒体。
【０１６８】
【発明の効果】
請求項１または請求項５に記載の発明によれば、全体画像の所定の中央領域における平均輝度を算出するようにしたから、例えばホワイトボードを撮像した画像について、ホワイトボードの下地（白地）部分の輝度に近似する輝度を平均輝度として算出することができる。
【０１６９】
また、画像の画素に係る輝度のヒストグラムを生成し、前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出して、この検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定するようにしたから、度数が極大となる輝度が平均輝度より高輝度側に存在する場合であっても低輝度側に存在する場合であっても、その輝度を確実に検出することができ、その結果、適切な下地レベルを設定することができる。
【０１７０】
請求項２に記載の発明によれば、前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成し、前記平均輝度を用いて前記下地レベルを設定するようにしたから、ホワイトボードに手書きされた画像のように、文字密度（白地部分に対する文字部分の比率）のばらつきが大きい場合や、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きい場合でも、撮像画像の各部位の文字密度及び照度に応じた下地レベルを設定することができる。
【０１７１】
また、全体画像を複数のブロック画像に分割する際に、レンズの周辺光量落ちが発生している部分だけで一つのブロック画像が構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比して小さいサイズに分割したときには、レンズの周辺光量落ちが発生している輝度の低い部分と、その他の輝度の高い部分とが１つのブロックに混在するのが低減され、この輝度の高い部分に基づく不適切な下地レベルの設定が行われるのを防止又は抑制することができる。
【０１７２】
請求項３に記載の発明によれば、色差信号の値が所定の閾値以下の画素を用いてヒストグラムを作成するようにしたので、例えばホワイトボードにオレンジ色等の比較的輝度の高いインクで書かれた文字のその輝度が下地レベルとして設定されるのを防止又は抑制することができる。
【０１７３】
請求項４に記載の発明によれば、前記所定の画像処理は、輝度値の大きさを変換する階調補正処理であるので、ホワイトボードの下地（白地）部分を純白色に補正するとともに、例えばホワイトボードの下地（白地）部分と文字部分とのコントラストを大きくすることができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【図２】（ａ）は画像の一例を示す図、（ｂ）は（ａ）に示す画像を複数のブロックに分割した様子を示す図、（ｃ）は平均輝度を算出する対象の領域を示す図である。
【図３】各種のヒストグラムの例を示す図である。
【図４】ブロック下地レベルの設定処理を説明するための図である。
【図５】平滑化処理を説明するための図である。
【図６】画素下地レベルの算出処理を説明するための図である。
【図７】算出した画素下地レベルを用いて画素ごとに行う階調補正の補正関数を示す図である。
【図８】ノイズ除去・連結部によるノイズ除去・連結処理を説明するための図である。
【図９】階調補正の補正関数を示す図である。
【図１０】本発明の画像処理方法の手順を示すフローチャートである。
【図１１】図１０のステップ♯５のブロック下地レベル設定部によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【図１２】図１０のステップ♯６の平滑化処理部による平滑化処理の詳細な手順を示すフローチャートである。
【図１３】図１０のステップ♯９のノイズ除去・連結部によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【図１４】本発明に係る画像処理を実行する機能をパーソナルコンピュータに搭載した場合に、画像を撮像し、その画像を記憶したり記録紙等に出力するように構成されたシステムのブロック図である。
【符号の説明】
８，２７ 制御部
９，３２ ＲＧＢ−ＹＣｒＣｂ変換部
１０，３３ ブロック設定部
１１，３４ ヒストグラム生成部
１２，３５ ブロック下地レベル設定部
１３，３６ 平滑化処理部
１４，３７ 画素下地レベル演算部
１５，３８ 第１階調補正処理部
１６，３９ ノイズ除去・連結部
１７，４０ 第１彩度補正部
１８，４１ 第２階調補正処理部
１９，４２ 第２彩度補正部
２０，４３ 輪郭補正部
２１，４４ ＹＣｒＣｂ−ＲＧＢ変換部

Claims (5)

1. 画像の画素に係る輝度のヒストグラムを生成し、
   全体画像における所定の中央領域の平均輝度を算出し、
   前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出し、
   検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定し、
   設定された下地レベルに基づいて所定の画像処理を行うことを特徴とする画像処理方法。
2. 前記全体画像を複数のブロック画像に分割して、ブロック画像ごとにヒストグラムを生成し、前記平均輝度を用いて前記下地レベルを設定することを特徴とする請求項１に記載の画像処理方法。
3. 色差信号の値が所定の閾値以下の画素を用いて前記ヒストグラムを作成することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記所定の画像処理は、輝度値の大きさを変換する階調補正処理であることを特徴とする請求項１ないし３のいずれかに記載の画像処理方法。
5. 画像の画素に係る輝度のヒストグラムを生成するヒストグラム生成手段と、
   全体画像における所定の中央領域の平均輝度を算出する算出手段と、
   前記ヒストグラムにおいて前記平均輝度から高輝度側及び低輝度側に、度数が極大となる輝度を検出する輝度検出手段と、
   検出された輝度のうち前記平均輝度との差が最も小さい輝度を、前記ヒストグラムを生成した対象の画像の下地レベルとして設定する下地レベル設定手段と、
   設定された下地レベルに基づいて所定の画像処理を行う画像処理手段と
   を備えることを特徴とする画像処理装置。

Images