JP2004304641A - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP2004304641A JP2004304641A JP2003096893A JP2003096893A JP2004304641A JP 2004304641 A JP2004304641 A JP 2004304641A JP 2003096893 A JP2003096893 A JP 2003096893A JP 2003096893 A JP2003096893 A JP 2003096893A JP 2004304641 A JP2004304641 A JP 2004304641A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- luminance
- image
- processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことのできる画像処理方法及び画像処理装置を提供する。
【解決手段】全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理を行うとともに、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理を行う。そして、第1階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにした。
【選択図】 図8
【解決手段】全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理を行うとともに、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理を行う。そして、第1階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにした。
【選択図】 図8
Description
【0001】
【発明の属する技術分野】
本発明は、白板等を撮影した画像の下地とばし処理を行う画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】
一般に、デジタルカメラは、画像処理により撮影された画像の画質を自在に制御できるため、撮影の目的や被写体の種類に応じて撮影画像の画質に対して適切な処理を行うことにより、銀塩フィルムに撮影するカメラに比してより好適な画質の画像を得ることができるという利点を有する。このため、通常の写真撮影だけでなく、例えば会議場でホワイトボードに描かれた文字や図形等を撮影することにも利用される。
【0003】
デジタルカメラで文字や図形等が描かれたホワイトボードを撮影する場合、その撮影の目的はホワイトボード上の文字や図形等の情報を記録することにある。このため、上記のような撮影画像については、ホワイトボードの白地部分を確実に純白色にする、所謂下地とばし処理を行うことにより、文字や図形等の情報部分の明瞭度を向上させることが求められる。
【0004】
下記特許文献1には、ホワイトボードを撮影する場合に、ホワイトボードの下地(白板部分)をとばし、文字や図形等の情報部分の明瞭度を向上させることを目的として、被写体光像を三原色の色成分の画素信号として取り込み、色成分の画像毎に、各色成分の画素信号を用いて所定の白地レベル以上の画素信号を白色飽和レベルに変換するγ特性を設定し、このγ特性を用いてガンマ補正を行うように構成したものが開示されている。
【0005】
ところで、ホワイトボードを撮影する目的が、ホワイトボード上の文字や図形等の情報を正確に記録することにあるならば、例えば小さな点状のノイズや、ホワイトボードの電灯光の反射による文字の途切れを解消することも、文字や図形等の情報の正確な記録を行うという点で重要な事項と考えられる。
【0006】
下記特許文献2には、撮像画像の画素を間引いて画素密度を荒くした後に、ノイズを除去するとともに、周辺画素との比較論理演算を用いた膨張処理及び収縮処理を行うことで、文字の途切れた部分を連結させるようにした技術が開示されている。
【0007】
【特許文献1】
特開平10−210287号公報
【特許文献2】
特開平10−42130号公報
【0008】
【発明が解決しようとする課題】
しかしながら、上記のように画像の解像度を変換することで、ノイズ除去処理や連結処理を行う構成では、その解像度変換処理、特に上述の膨張処理や収縮処理に多大な時間を要することとなる。
【0009】
本発明は、上記事情に鑑みてなされたものであり、多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことのできる画像処理方法及び画像処理装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
請求項1に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法である。
【0011】
請求項4に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置である。
【0012】
請求項1または請求項4に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換される。
【0013】
そして、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【0014】
請求項2に記載の発明は、請求項1に記載の画像処理方法において、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とするものである。
【0015】
この発明によれば、例えば、平均値処理を施す前の画像における文字の筆跡が途中で途切れている部分など、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【0016】
また、特に、本発明においては、上記2個の画素列を連続させた画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【0017】
請求項3に記載の発明は、請求項2に記載の画像処理方法において、前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とするものである。
【0018】
この発明によれば、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度が最大輝度とされ、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度が第1の画素の輝度とされ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定され、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度が最大輝度とされる。
【0019】
これにより、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を前記第1の画像とし、この第1の画像から前記第3の画像を生成する場合に、第1の画素及び第2の画素がともに最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることにより該第3の画素が白地とされる。
【0020】
また、第1の画素及び第2の画素がともに最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が第1の画素の輝度とされることにより前記第3の画素が文字とされ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分が連結され、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることによりノイズが除去される。
【0021】
【発明の実施の形態】
本発明の実施形態について説明する。
【0022】
図1は、本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【0023】
図1に示すように、デジタルカメラ1は、光学系2、撮像素子3、信号処理部4、A/D変換部5、画像処理部6、画像メモリ7、制御部8、記憶部22、VRAM23、表示部24及び操作部25を備えて構成されている。
【0024】
光学系2は、光軸方向に駆動されるズームレンズを含み、被写体の光像を撮像素子3の結像面上に結像するものである。
【0025】
撮像素子3は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に2次元配列され、各光電変換素子の受光面に、それぞれR(赤),G(緑),B(青)の色フィルタが1:2:1の比率で配設されてなるCCDカラーエリアセンサである。
【0026】
撮像素子3は、光学系2により結像された被写体の光像を、例えば1/30(秒)毎にR(赤),G(緑),B(青)の色成分の電気信号(画像信号)に変換し、R,G,B各色の画像信号として出力する。
【0027】
撮像素子3は、図略のタイミングジェネレータ等により、撮像素子3の露出動作の開始及び終了や、撮像素子3における各画素の出力信号の読出し(水平同期、垂直同期、転送)等の撮像動作が制御される。
【0028】
信号処理部4は、CDS(相関二重サンプリング)回路やAGC(オートゲインコントロール)回路等を有し、撮像素子3から出力されるアナログの画像信号に、CDS回路により画像信号のノイズの低減を行って、AGC回路により画像信号のレベル調整を行う等の所定のアナログ信号処理を施すものである。
【0029】
A/D変換部5は、信号処理部4により出力されたアナログ値のR,G,Bの画像信号を、複数のビットからなるデジタル値の画像信号(以下、デジタル信号という)にそれぞれ変換するものである。
【0030】
画像処理部6は、A/D変換部5によりA/D変換されたR,G,Bの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、R(赤)、G(緑)、B(青)の各色成分のデジタル信号のレベル変換を行うホワイトバランス、R(赤),G(緑),B(青)のデジタル信号のγ特性を補正するγ補正を行うものである。
【0031】
画像メモリ7は、画像処理部6から出力される画像を一時的に記憶するとともに、この画像データに対し制御部8により後述の処理を行うための作業領域として用いられるメモリである。画像メモリ7は、例えばRAM等である。
【0032】
制御部8は、例えば制御プログラムを記憶するROMや一時的にデータを記憶するRAMからなる図略の記憶部が内蔵されたマイクロコンピュータからなり、上述したデジタルカメラ1内の各部分の駆動を有機的に制御して、デジタルカメラ1の撮影動作を統括的に制御するものである。
【0033】
また、本実施形態においては、例えば文字や図等が描かれたホワイトボード等を撮影した場合に、この制御部8が、ホワイトボードの白地部分(文字等が描かれていない部分)を確実に純白色にし、かつ文字の明瞭化を行うための画像処理を行うところに特徴を有している。
【0034】
ここで、この画像処理の概略について説明すると、画像処理部6から出力されるR,G,Bの各デジタル信号を、以下の処理上の都合から、輝度信号Y及び色差信号Cr,Cbに変換する。そして、画像全体を複数のブロックに分割し、ブロックごとに、輝度Yについてのヒストグラムを生成する。
【0035】
次に、生成したヒストグラムにおいて、ある輝度(後述する平均輝度Ya)から低輝度側及び高輝度側に度数の極大部(ピーク)を探索し、このピークを用いて各ブロックにおける下地レベル(後述するブロック下地レベル)を設定する。次に、このブロック下地レベルを補正(平滑化)した後、この補正後のブロック下地レベルから画素ごとの下地レベル(後述する画素下地レベル)を算出する。
【0036】
次に、上記画素下地レベルを用いて、画素ごとに階調補正を行った後、ノイズの除去処理及び文字等の断線部分の連結処理を行い、黒色ではなく、赤や黄等の輝度の比較的高いインクで書かれた文字等を見やすくするための階調補正を行う。
【0037】
そして、文字領域等の彩度を向上させる処理及び輪郭補正処理を行った後、輝度信号Y及び色差信号Cr,Cbを元のR,G,Bの各デジタル信号に変換して終了する。
【0038】
以上のような画像処理を実現すべく、図1に示すように、制御部8は、RGB−YCrCb変換部9、ブロック設定部10、ヒストグラム生成部11、ブロック下地レベル設定部12、平滑化処理部13、画素下地レベル演算部14、第1階調補正処理部15、ノイズ除去・連結部16、第1彩度補正部17、第2階調補正処理部18、第2彩度補正部19、輪郭補正部20及びYCrCb−RGB変換部21を備える。
【0039】
なお、以下の説明において、文字等が描かれたホワイトボードの板面のうち、文字等が描かれた部分を文字領域、何も描かれていない白色の部分を白板領域というものとする。
【0040】
RGB−YCrCb変換部9は、輝度のヒストグラムを生成するため、画像処理部から出力されるR,G,Bの各デジタル信号を、次式(1)〜(3)に従って、輝度信号Y及び色差信号Cr,Cbに変換するものである。
【0041】
Y=0.299R+0.587G+0.114B …(1)
Cr=0.500R−0.419G−0.081B …(2)
Cb=−0.169R−0.332G+0.500B …(3)
ブロック設定部10は、RGB−YCrCb変換部9による変換処理後の画像を所定数のブロックに分割するものである。例えば、ブロック設定部10は、図2(a)に示すように、文字「ABC」が板面に書かれたホワイトボードを撮像素子3により撮像し、RGB−YCrCb変換部9により変換処理した画像を、図2(b)に示すように、複数のブロックに分割する。
【0042】
その際、本実施形態では、ブロック設定部10は、例えば、できるだけレンズの周辺光量落ちが発生している部分だけで一つのブロックが構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比してできる限り小さいサイズに分割する。
【0043】
これは、上述したように、各ブロックにおけるブロック下地レベルの設定を、ある輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、1つのブロックに、この周辺光量落ちが発生している部分と発生していない部分とが混在していると、例えば、そのブロックの適切なブロック下地レベルが、周辺光量落ちが発生している部分の輝度レベルであっても、周辺光量落ちが発生していない部分の輝度レベルがそのブロックのブロック下地レベルとして設定される場合が生じ、ブロック下地レベル設定部12により不適切なブロック下地レベルが設定される虞があるからである。
【0044】
なお、レンズの周辺光量落ちとは、レンズの外周側に入射する光が、レンズに対して斜めに入射することにより、レンズの単位面積あたりに入射される光量が、レンズの中央部に入射する光よりも少なくなり、その結果、画像の周辺(特に四隅)が暗くなる現象をいう。
【0045】
また、上記のようにRGB−YCrCb変換部9による変換処理後の画像を複数のブロックに分割するのは、ホワイトボードに手書きされたものは文字密度(白地部分に対する文字部分の比率)のばらつきが大きく、しかも写真撮影の場合は、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きいことから、撮像画像の各部位の文字密度及び照度に応じたブロック下地レベルを設定するためである。
【0046】
ヒストグラム生成部11は、ブロック設定部10により生成された各ブロックに対し、ブロックの画素における輝度Yのヒストグラムを作成するものである。
【0047】
図3は、輝度Yについての度数分布を示す各種のヒストグラムであり、横軸は輝度Y、縦軸は画素数Nである。
【0048】
例えば、輝度の低いインク(例えば黒のインク)で描かれた文字の領域、白板領域、光源(例えば電灯の光)を反射した領域やホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックの場合、そのヒストグラムは、図3(a)に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり(矢印A)、白板領域の比較的高い或る輝度レベルで画素数が極大となり(矢印B)、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる(矢印C)。
【0049】
また、非常に輝度の低い物体の領域、白板領域、光源(例えば電灯の光)を反射した領域及びホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図3(b)に示すように、上記物体の領域の非常に低い或る輝度レベルで画素数が極大となり(矢印D)、白板領域の比較的高い或る輝度レベルで画素数が極大となり(矢印E)、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる(矢印F)。
【0050】
また、輝度の低いインクで描かれた文字の領域、及び図3(a)の矢印Cや図3(b)の矢印Fに示すピークの輝度レベルよりもさらに高い、光源を反射した領域等を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図3(c)に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり(矢印G)、光源を反射した領域及びホワイトボードの金属枠の領域の非常に高い或る輝度レベルで画素数が極大となる(矢印H)。
【0051】
さらに、輝度の低いインク(例えば黒のインク)で描かれた文字の領域、白板領域、光源(例えば電灯の光)を反射した領域及びホワイトボードの金属枠の領域に加えて、例えばオレンジ色や黄色等のインクで書かれた文字等、輝度が白板領域とやや近似する文字領域を撮像した画素を有するブロックについては、そのヒストグラムを忠実に作成すると、例えば図3(d)に示すように、図3(a)に示すヒストグラムに対し、さらに白板領域の輝度レベルよりやや低い輝度レベルにおいてピーク(矢印I)を有するものとなる。
【0052】
しかし、上述したように、各ブロックにおけるブロック下地レベルの設定を、或る輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、オレンジ色等のインクで書かれた文字等の領域の輝度が、白板領域の輝度と後述する画像全体の輝度との間の値となった場合、白板領域の輝度をブロック下地レベルと設定すべきところを、オレンジ色のインクで書かれた文字等の領域の輝度をブロック下地レベルと誤って設定される虞がある。
【0053】
そこで、本実施形態においては、図3(e)に示すように、色差信号Cr,Cbの値が所定の閾値以下、すなわち彩度の低い画素データだけを用いてヒストグラムを作成することにより、白板領域と近似する文字領域の輝度レベルにおけるピークを予め除去しておくようにしている。
【0054】
ブロック下地レベル設定部12は、撮影対象の目的物の背景(上記の例ではホワイトボードの白板領域)を下地というものとすると、ブロックごとに作成したヒストグラムを用いて、各ブロックに対して下地の輝度レベルを設定するものである。なお、このように設定したブロックにおける下地の輝度レベルをブロック下地レベルという。
【0055】
ブロック下地レベル設定部12は、まず、ホワイトボードの板面の平均輝度を算出する。ここで、ホワイトボードは、画像の中央部分に存在する可能性が高いと考えられるから、ブロック下地レベル設定部12は、図2(c)に示すように、ホワイトボードの板面の平均輝度を正確に算出するために、画像の中央部分(例えば画像全体の縦横それぞれ60%の中央部分)から平均輝度Yaを算出する。
【0056】
そして、上記のような各種のヒストグラムにおいて、複数の極大値を有する輝度レベルのうち、算出した画像の平均輝度Yaに最も近い輝度レベルを、ブロック下地レベルとして設定する。
【0057】
例えば、あるブロックについてのヒストグラムが、図4(a)に示すものとなったとし、算出された画像の平均輝度Yaが図4(a)に示す輝度であるものとすると、まず、平均輝度Yaから高輝度側(矢印Pの方向)に、各輝度レベルにおける頻度値(度数)の大小を判定していく。そして、最初に現れたピークをピークYHとする。
【0058】
なお、このピークYHの検出は、例えば、或る輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【0059】
ここで、図4(b)に示すような非常に高い輝度レベル(矢印J)がブロック下地レベルとして設定されると、次のような不具合がある。
【0060】
すなわち、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素、特に中心画素の近傍に位置する画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0061】
本実施形態では、このような不具合を防止すべく、図4(c)に示すように、上述した非常に高い輝度レベルよりも小さい上限値Ymax(輝度レベルを256階調で表現するものとすると例えば250階調)を設定し、この上限値Ymaxまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【0062】
これにより、ブロックが、非常に高い輝度(本実施形態においては、階調が250を超える輝度)を有する被写体を撮像した画素が存在するものであっても、このような輝度がブロック下地レベルとして設定されるのを防止することができる。
【0063】
一方、図4(b)に示すようなヒストグラムを有するブロックの場合には、平均輝度Yaから上限値Ymaxまでの間にピークを有しないので、上記のように上限値Ymaxまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Yaよりも低い輝度を有するものである場合にも、ピークは検出されない。
【0064】
この場合には、上記平均輝度Yaを、該ブロックのブロック下地レベルとして設定することにより、背景(白地)の輝度レベルに近い輝度レベルをブロック下地レベルとして設定することができる。
【0065】
次に、図4(a)に示すヒストグラムにおいて、図4(d)に示すように、平均輝度Yaから低輝度側(矢印Qの方向)に、各輝度レベルにおける頻度値の大小を判定していく。このとき、最初に現れたピークをピークYLとする。
【0066】
なお、このピークYLの検出は、ピークYHの検出と同様、例えば、ある輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【0067】
また、図4(e)に示すように、ホワイトボードに貼着しているマグネットや非常に暗い背景など、非常に低い輝度レベルがブロック下地レベルとして設定されると、次のような不具合がある。
【0068】
すなわち、上記と同様、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0069】
本実施形態では、このような不具合を防止すべく、図4(f)に示すように、上述した非常に低い輝度レベルよりも大きい下限値Ymin(輝度レベルを256階調で表現するものとすると例えば10階調)を設定し、この下限値Yminまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【0070】
一方、図4(e)に示すようなヒストグラムを有するブロックの場合、平均輝度Yaから下限値Yminまでの間にピークを有しないので、上記のように下限値Yminまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Yaよりも高い輝度を有するものである場合にも、ピークは検出されない。
【0071】
この場合には、上記平均輝度Yaを、該ブロックのブロック下地レベルとして設定することにより、背景の輝度レベルに近い輝度レベルをピークレベルとして設定することができる。
【0072】
以上のように、高輝度側のピークYHと低輝度側のピークYLとを検出した場合には、いずれか平均輝度Yaに近い方を、そのブロックのブロック下地レベルYbとして設定する。例えば、図4(g)においては、
Ya−YL>YH−Ya …(4)
であるから、高輝度側のピークYHをそのブロックのブロック下地レベルYbとして設定する。
【0073】
ところで、ホワイトボードに写った光源や、該ホワイトボードの金属枠の領域、あるいはホワイトボードに貼着されたマグネットなどの領域の輝度が上限値Ymaxと下限値Yminとの間の値であった場合でも、これらの領域を撮像したブロックにあっては、該ブロックの輝度のヒストグラムのみに基づいてブロック下地レベルを設定するように構成すると、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されることとなる。
【0074】
しかし、上記と同様、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0075】
平滑化処理部13は、この問題を回避すべく、全ての画素について、画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に、ブロック下地レベル設定部12により設定した各ブロックのブロック下地レベルの平滑化(隣接するブロックとのブロック下地レベルの差を小さくすること)を行うものである。
【0076】
平滑化処理を画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に行うのは、電灯光の反射光等が写る可能性の少ない画像の中央に位置する画素から平滑化処理を行うことで、より適切な画素下地レベルを設定するためである。
【0077】
図5は、平滑化処理部13による平滑化処理を説明するための図である。
【0078】
図5に示すように、平滑化処理部13は、平滑化を行う対象のブロック(以下、注目ブロックという、図5において斜線で示す)に対して平滑化処理を行うにあたり、当該注目ブロックを含む、縦横それぞれ所定数のブロック(本実施形態では、縦横それぞれ3ブロック)からなるブロック群を用いる。
【0079】
その際、この平滑化に用いるブロック(以下、平滑化ブロックという)を、注目ブロックが画像の中心Oから最も離間する角部に位置するように決定する。例えば、図5に示すように、画像全体を画像の中心Oを含む線分で縦横それぞれ2等分割し、注目ブロックが左上領域T1に位置するときには、注目ブロックが左上角部に位置するように平滑化ブロックを決定する。
【0080】
これと同様に、注目ブロックが左下領域T2に位置するときには、注目ブロックが左下角部に位置するように平滑化ブロックを決定し、右上領域T3に位置するときには、注目ブロックが右上角部に位置するように平滑化ブロックを決定し、右下領域T4に位置するときには、注目ブロックが右下角部に位置するように平滑化ブロックを決定する。
【0081】
なお、図5は、各領域T1〜T4における1組の注目ブロック及び平滑化ブロックをそれぞれ抽出し描いたものである。
【0082】
このように平滑化ブロックを設定するのは、光源の反射やホワイトボードの金属枠が存在する領域は、画像の周辺に位置することが多い一方、より画面中央に近い領域は、光源などの影響を受けていない領域が存在する可能性が高いことから、光源などの影響を受けていない、画面中央側のブロックを注目ブロックの平滑化に利用することで、注目ブロックのブロック下地レベルと、隣接するブロックのブロック下地レベルとの差が小さくなり、適切に平滑化を行うことができるからである。
【0083】
平滑化処理部13は、このように設定した平滑化ブロックと注目ブロックとの中で、輝度の低い所定数(本実施形態では3つ)のブロックを抽出し、これらのブロックのブロック下地レベルの平均Yabを算出して、この平均値Yabを注目ブロックのブロック下地レベルに設定する。
【0084】
また、図5(b)に示すように、光源の反射光が写っている可能性の少ない画像の中央に位置するブロックから平滑化処理を行って、ブロック下地レベルを適切に設定すべく、例えば右上領域T3におけるブロックに番号を付したとき、平滑化処理部13は、例えば1→2→6→5→9→10→11→7→3→4→8→12→・・・や、1→2→6→5→3→7→11→10→9→4→8→12→・・・、あるいは、1→2→5→3→6→9→4→7→10→8→11→12・・・や、1→2→5→9→6→3→4→7→10→8→11→12・・・などのように、画像の中央側に位置するブロックから周辺側に位置するブロックに向かって順番に平滑化処理を行っていく。
【0085】
画素下地レベル演算部14は、平滑化処理部13により平滑化処理が施された各ブロックのブロック下地レベルを、それぞれ対応するブロックの中心位置に位置する画素(以下、中心画素という)の下地レベルとみなした上で、各中心画素間に位置する画素の下地レベル(以下、画素下地レベルという)を線形補間により算出する。
【0086】
図6において、1つのマスが1つのブロックを表すものとし、ブロックB1の中心画素G1の画素下地レベルをY1、ブロックB2の中心画素G2の画素下地レベルをY2、ブロックB3の中心画素G3の画素下地レベルをY3、ブロックB4の中心画素G4の画素下地レベルをY4とすると、例えばブロックB1内の任意の画素Gxの画素下地レベルYGを、これらの画素下地レベルY1〜Y4により算出する。
【0087】
すなわち、画素Gxの画素下地レベルYGを次式(5)
YG=(α・Y1+β・Y2+γ・Y3+δ・Y4)/4 …(5)
により算出する。なお、α,β,γ,δは重み係数であり、各重み係数は、画素Gxから各ブロックB1〜B4の中心画素G1〜G4までの距離に比例する関係を有する。
【0088】
第1階調補正処理部15は、画素下地レベル演算部14により算出された画素下地レベルを用いて、画素ごとに、図7に示すような補正関数を設定し、この補正関数に基づいて階調補正を行うものである。
【0089】
図7は、第1階調補正処理部15による階調補正の補正関数を示すものであり、横軸は、第1階調補正処理部15の入力(RGB−YCrCb変換処理後の画像の画素の輝度レベル)、縦軸は、第1階調補正処理部15の出力である。
【0090】
図7に示す補正関数の場合は、入力が100未満のときには、出力を0とし、入力が画素下地レベル演算部14により算出された画素下地レベルYβ以上のときには、出力を255とする。また、入力レベルが100から上記画素下地レベルYβまでの間においては、入力と出力とを線形的な関係とし、この線形関数にしたがって階調補正を行う。
【0091】
この階調補正によれば、RGB−YCrCb変換処理後の画像における各画素の輝度レベルが、当該画素の画素下地レベル演算部14により算出された画素下地レベルYβ以上であるものについて、その輝度レベルが最高輝度(本実施形態ではY=255)に変換されるので、背景(白板)とすべき領域が、純白色に設定される。
【0092】
また、次式(6)で表される輝度レベルYQ
YQ={25500/(355−Yβ)} …(6)
を境界とし、この値YQより小さい輝度レベルを有する画素については、出力レベルが入力レベルより小さい値に変換されることから、輝度レベルが上記式(6)に示すYQの値より小さい輝度レベルを有する文字領域について、背景とのコントラストが大きくされる。
【0093】
ところで、画像処理部6により画像処理が施された画像に、小さな点状のノイズが含まれている場合、ノイズが発生している部分の画素については、ノイズが発生していない場合における当該画素の画素下地レベルより低い輝度レベルを有することとなる。したがって、このような画素については、図7に示す補正関数による階調補正を行っても、純白色(階調を255)に変換することができない。
【0094】
また、例えば図7に示すように、入力レベルが画素下地レベル演算部14により算出された画素下地レベルYβ以上である領域については、第1階調補正処理部15による階調補正により、最高輝度(階調255)に変換されることから、RGB−YCrCb変換処理後の画像における文字の一部分に、画素下地レベル演算部14により算出された画素下地レベルYβ以上である領域(インクが薄い領域やかすれている領域等)が存在した場合には、この部分で筆跡が途切れることとなる。
【0095】
ノイズ除去・連結部16は、このようなノイズを除去して本来の背景色(純白色)に補正するとともに、筆跡が途切れた部分(断線部分)を連結する処理を行うものである。
【0096】
図8は、ノイズ除去・連結部16によるノイズ除去・連結処理を説明するための図である。
【0097】
例えば図8(a)に示すように、ノイズや途切れた部分が存在するものとすると、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する(以下、この処理を平均値処理という)。これにより、図8(b)に示すように、平均値処理後の画像は、文字やノイズがぼやけたものとなる。
【0098】
そして、ノイズ除去・連結部16は、平均値処理後の画像であって、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合には、その画素は孤立点、すなわちノイズと判定し、輝度レベルを最高輝度に変換する。これにより、図8(c)に示すように、ノイズを除去することができる(以下、この処理を孤立点除去処理という)。
【0099】
また、文字の途切れた部分を連結し、且つぼかした文字を明瞭にするため、ノイズ除去・連結部16は、第1階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを比較して、次のような処理を行う。
【0100】
すなわち、ノイズ除去・連結部16は、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素については、白板領域を撮像したものであると判断し、その画素の輝度レベルを最高輝度(純白色)に設定する。
【0101】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素については、次のように処理する。
【0102】
第1階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素には、本来、文字領域とすべき、上記の階調補正によって筆跡が途切れた部分の画素と、第1階調補正処理後の画像においては最高輝度を有していたが平均値処理後に最高輝度でなくなった、文字領域とすべきではない画素(例えば、図8(b)の矢印Lで示す領域の画素)とが含まれている。
【0103】
そこで、本実施形態では、図8(e)に示すように、上記所定の方向に上記所定数以上連続している2個の画素列のうち一方の画素列が他方の画素列の延長線上に存在するか否かを判断することにより、断線部分及びその断線部分における筆跡の方向(矢印K)を第1階調補正処理後の画像から検出するとともに、文字領域とすべき領域の画素(図8(e)の斜線部分)を検出する。
【0104】
そして、この文字領域とすべき領域の画素については、上記の階調補正によって文字の筆跡が途切れ、この途切れた部分が平均値処理により繋がったものと判断して、文字領域と考えられる周辺の画素を用いて輝度レベルを算出する。すなわち、当該画素の周辺に位置する8つの画素の輝度レベルの平均値をその輝度レベルに設定する。これにより、断線部分が連結される。
【0105】
一方、上述の文字領域とすべきではない画素については、その輝度レベルを最高輝度(純白色)に設定する。
【0106】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像においては最高輝度を有さず、平均値処理及び孤立点除去処理後に最高輝度となった画素については、ノイズ(孤立点)を撮像し、このノイズが孤立点除去処理によって除去されたものと判断して、その画素の輝度レベルを孤立点除去処理において変換された最高輝度に維持する。
【0107】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない画素については、文字領域を撮像したものであると判断し、その画素の輝度レベルを第1階調補正処理後の画像における当該画素の輝度レベルに設定する。
【0108】
これにより、図8(d)に示すように、図8(a)に対しノイズが除去され、且つ文字の途切れた部分が連結され、且つぼかした文字が明瞭化された画像が得られる。
【0109】
第1彩度補正部17は、ノイズ除去・連結部16による処理後の輝度が最高輝度(階調255)に変換された画素について、彩度を有することのないように、色差信号Cr,Cbの値を0にする補正を行うものである。
【0110】
第2階調補正処理部18は、最高輝度を有しない画素を、文字領域を撮像した画素であると判断して、図9に示すような補正関数により階調補正を行うものである。
【0111】
図9においては、入力レベルが128以下のときには、出力レベルを入力レベルと同一とし、例えばオレンジ色のインクで書かれた文字等、色の薄い文字等を見やすくするために、入力レベルが128より大きく255以下のときには、補正関数の傾きを入力レベルが128以下の場合の補正関数に比して緩やかにすることで、階調128を超える比較的高い輝度を有する画素が撮像した画像について、暗めに階調補正される。なお、この階調補正は、制御部8の各部による各種処理が終了した画像を所定の画像形成装置で印刷した場合に、上記のような文字を見やすくすることを特に考慮して行われている。
【0112】
第2彩度補正部19は、ホワイトボードに書かれた文字等を見やすくするために、階調補正後の文字領域に対して、色差信号Cr,Cbに所定のゲインをかけて、彩度を増加させるものである。
【0113】
輪郭補正部20は、周知の一般的な手法により、文字等の輪郭を強調する輪郭補正を行うものである。
【0114】
YCrCb−RGB変換部21は、輪郭補正部20により輪郭補正が施された輝度信号Y及び色差信号Cr,Cbを、次式(7)〜(9)にしたがって、RGBの画像信号に変換するものである。
【0115】
R=Y+1.402Cr …(7)
G=Y−0.714Cr−0.344Cb …(8)
B=Y+1.772Cb …(9)
記憶部22は、制御部8における上述した各種の処理が施された画像を記憶するものである。
【0116】
VRAM23は、表示部24に表示される画像のバッファメモリであり、表示部24の画素数に対応した画像の記憶容量を有する。
【0117】
表示部24は、制御部8における上述した各種の処理が施され、VRAM23に一時的に記憶された画像を表示するものである。
【0118】
操作部25は、ホワイトボード等を撮影するため、制御部8に上述の各種処理を実行させるモードと、これらの処理を行わないで通常の撮影動作を実行させるモードとを切り替えるための操作部を含む。
【0119】
次に、本発明の画像処理方法の手順について説明する。
【0120】
図10は、本発明の画像処理方法の手順を示すフローチャートである。
【0121】
図10に示すように、まず、画像処理部6によりR,G,Bの各デジタル信号が出力される(ステップ♯1)と、RGB−YCrCb変換部9により、これらのデジタル信号が輝度信号Y及び色差信号Cr,Cbに変換された(ステップ♯2)後、ブロック設定部10により、画像全体が複数のブロックに分割され(ステップ♯3)、ヒストグラム生成部11により、ブロックごとにブロックの画素における輝度Yのヒストグラムが生成される(ステップ♯4)。
【0122】
そして、ブロック下地レベル設定部12により、生成したヒストグラムを用いて各ブロックにおけるブロック下地レベルが設定され(ステップ♯5)、平滑化処理部13により、このブロック下地レベルが平滑化された(ステップ♯6)後、画素下地レベル演算部14により、この平滑化処理後のブロック下地レベルから画素ごとに画素下地レベルが算出される(ステップ♯7)。
【0123】
次に、第1階調補正処理部15により、上記画素下地レベルを用いて、画素ごとに階調補正が行われ(ステップ♯8)、ノイズ除去・連結部16により、ノイズの除去処理及び文字等の断線部分の連結処理が行われる(ステップ♯9)。
【0124】
そして、ノイズ除去・連結部16による処理後の画素の輝度が最高輝度を有しない場合(ステップ♯10でYES)には、第2階調補正処理部18により、その画素の輝度に対し図9に示す補正関数により階調補正が行われた(ステップ♯11)後、第2彩度補正部19により、文字領域等の彩度を向上するための処理が行われる(ステップ♯12)。一方、ステップ♯10において、ノイズ除去・連結部16による処理後の画素の輝度が最高輝度を有する場合(ステップ♯10でNO)には、第1彩度補正部により、その画素について、色差信号Cr,Cbの値を0にする補正が行われる(ステップ♯13)。
【0125】
そして、ステップ♯12又は♯13の処理が終了すると、輪郭補正部20により輪郭補正処理が行われた(ステップ♯14)後、YCrCb−RGB変換部21により輝度信号Y及び色差信号Cr,CbをR,G,Bの各デジタル信号に変換される(ステップ♯15)。
【0126】
図11は、図10のステップ♯5のブロック下地レベル設定部12によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【0127】
図11に示すように、ホワイトボードの板面の平均輝度Yaが算出され(ステップ♯21)、この平均輝度Yaから高輝度側に上限値Ymaxまで、各輝度レベルにおける頻度値の大小判定が行われる(ステップ♯22)。
【0128】
そして、ピークが存在したか否かが判定され(ステップ♯23)、ピークが存在する場合(ステップ♯23でYES)には、最初に検出されたピークYHが高輝度側のピークとして設定され(ステップ♯24)、ピークが存在しない場合(ステップ♯23でNO)には、平均輝度Yaが高輝度側のピークとして設定される(ステップ♯25)。
【0129】
次に、平均輝度Yaから低輝度側に下限値Yminまで、各輝度レベルにおける頻度値の大小判定が行われ(ステップ♯26)、ピークが存在したか否かが判定される(ステップ♯27)。
【0130】
その結果、ピークが存在する場合(ステップ♯27でYES)には、最初に検出されたピークYLが低輝度側のピークとして設定され(ステップ♯28)、ピークが存在しない場合(ステップ♯27でNO)には、平均輝度Yaが低輝度側のピークとして設定される(ステップ♯29)。
【0131】
そして、ステップ♯24及び♯28で設定された高輝度側のピークYHと低輝度側のピークYLとについて、いずれか平均輝度Yaに近い方が、そのブロックのブロック下地レベルYbとして設定される(ステップ♯30)。
【0132】
以上の処理が全てのブロックについて終了するまで(ステップ♯31でNO)、処理対象のブロックを順番に変えて(ステップ♯32)、ステップ♯22〜♯30までの処理が行われ、全てのブロックについてブロック下地レベル設定処理が終了する(ステップ♯31でYES)と、ブロック下地レベル設定部12による処理を終了する。
【0133】
図12は、図10におけるステップ♯6の平滑化処理部13による平滑化処理の詳細な手順を示すフローチャートである。
【0134】
図12に示すように、まず、注目ブロックが、画像の左上領域に位置するとき(ステップ♯41でYES)、この注目ブロックが左上角部に位置するように平滑化ブロックが決定され(ステップ♯42)、注目ブロックが、画像の左下領域に位置するとき(ステップ♯43でYES)、この注目ブロックが左下角部に位置するように平滑化ブロックが決定され(ステップ♯44)、注目ブロックが、画像の右上領域に位置するとき(ステップ♯45でYES)、この注目ブロックが右上角部に位置するように平滑化ブロックが決定され(ステップ♯46)、注目ブロックが右下領域に位置するとき(ステップ♯45でNO)、この注目ブロックが右下角部に位置するように平滑化ブロックが決定される(ステップ♯47)。
【0135】
ステップ♯41,♯43,♯45、♯47のいずれかで決定された平滑化ブロックと注目ブロックとの中で、輝度の低い3つのブロックが抽出された(ステップ♯48)後、これらのブロックのブロック下地レベルの平均Yabが算出され(ステップ♯49)、この平均値Yabが注目ブロックのブロック下地レベルに設定される(ステップ♯50)。
【0136】
以上の処理が全てのブロックについて終了するまで(ステップ♯51でNO)、処理対象のブロックを順番に変えて(ステップ♯52)、ステップ♯41〜♯50までの処理が行われ、全てのブロックについて平滑化処理が終了する(ステップ♯51でYES)と、平滑化処理部13による処理を終了する。
【0137】
図13は、図10におけるステップ♯9のノイズ除去・連結部16によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【0138】
図13に示すように、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理が行われ(ステップ♯61)、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理が行われる(ステップ♯62)。
【0139】
そして、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素(ステップ♯63,♯64でYES)については、その画素の輝度レベルが最高輝度に設定される(ステップ♯65)。
【0140】
一方、第1階調補正処理後の画像においては最高輝度を有し(ステップ♯63でYES)、平均値処理及び孤立点除去後に最高輝度でなくなった(ステップ♯64でNO)画素については、文字領域とすべき画素であるか否かが判定され(ステップ♯66)、文字領域とすべき画素である場合(ステップ♯66でYES)には、文字領域と考えられる周辺の画素を用いて輝度レベルが算出され(ステップ♯67)、文字領域とすべきでない画素である場合(ステップ♯66でNO)には、その画素の輝度レベルが最高輝度に設定される(ステップ♯68)。
【0141】
また、第1階調補正処理後の画像においては最高輝度を有さず(ステップ♯63でNO)、平均値処理及び孤立点除去処理後に最高輝度となった(ステップ♯69でYES)画素については、その画素の輝度レベルが孤立点除去処理において変換された最高輝度に維持され(ステップ♯70)、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない(ステップ♯63,♯69でNO)画素については、その画素の輝度レベルが第1階調補正処理後の画像における当該画素の輝度レベルに設定される(ステップ♯71)。
【0142】
このように、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定することにより、一旦、文字やノイズをぼかし、このぼかした画像において、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定することでノイズを検出して、該ノイズを除去するようにしたので、ノイズが除去された画像を得ることができる。
【0143】
また、第1階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにしたから、文字の途切れた部分が連結され、かつ一旦ぼかした文字が明瞭化された画像を得ることができる。
【0144】
さらに、第1階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを単純に比較して、上記のような画像を生成するようにしたので、従来のように多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことができる。
【0145】
なお、本発明は、上記実施形態に限らず、次の変形形態(1),(2)が採用可能である。
【0146】
(1)上記実施形態においては、RGB−YCrCb変換部9、ブロック設定部10、ヒストグラム生成部11、ブロック下地レベル設定部12、平滑化処理部13、画素下地レベル演算部14、第1階調補正処理部15、ノイズ除去・連結部16、第1彩度補正部17、第2階調補正処理部18、第2彩度補正部19、輪郭補正部20及びYCrCb−RGB変換部21をデジタルカメラ1に搭載する場合について説明したが、これに限らず、図14に示すように、パーソナルコンピュータ26(以下、PC26という)の制御部27に搭載するように構成してもよい。
【0147】
この場合、図14に示すように、PC26は、例えばデジタルカメラなどの画像入力装置28からγ補正等の処理を施した画像を取り込み、上述のようにヒストグラムの生成、ブロック下地レベルの設定、平滑化処理、画素下地レベルの算出、ノイズ除去・連結処理等を行った後、ハードディスク装置等の画像記憶装置29に記憶する。
【0148】
また、この画像を紙面への印刷等の出力を行う場合には、PC26は、画像記憶装置29から該画像を取り込み、プリンタ等の画像出力装置29に画像を送出し、その画像出力装置30にプリントアウトを行わせるようにしてもよい。なお、操作部31は、制御部27にヒストグラムの生成処理等の実行を指示する入力を行うためのもので、マウスやキーボードを指す。
【0149】
(2)図14に示すPC26及び上記実施形態におけるデジタルカメラ1は、所定のプログラムにより、機能的に、RGB−YCrCb変換部9,32、ブロック設定部10,33、ヒストグラム生成部11,34、ブロック下地レベル設定部12,35、平滑化処理部13,36、画素下地レベル演算部14,37、第1階調補正処理部15,38、ノイズ除去・連結部16,39、第1彩度補正部17,40、第2階調補正処理部18,41、第2彩度補正部19,42、輪郭補正部20,43及びYCrCb−RGB変換部21,44を備えて、各種の処理を実行するようにしたものであるが、これに限られず、ハードウェアにより、これらの処理を実行する構成としてもよい。
【0150】
なお、所定のプログラムにより、制御部8,27に上記各部を備える場合には、例えばフレキシブルディスク、CD−R、あるいはDVD−Rなどの外部の記録媒体との間でデータの読み書きを行う図略の装置を用いて、PC26を、RGB−YCrCb変換部9,32、ブロック設定部10,33、ヒストグラム生成部11,34、ブロック下地レベル設定部12,35、平滑化処理部13,36、画素下地レベル演算部14,37、第1階調補正処理部15,38、ノイズ除去・連結部16,39、第1彩度補正部17,40、第2階調補正処理部18,41、第2彩度補正部19,42、輪郭補正部20,43及びYCrCb−RGB変換部21,44として機能させるためのプログラムを記録した記録媒体から該プログラムをインストールするようにし、PC26はこのプログラムをインストールすることで、機能的にRGB−YCrCb変換部9,32等を備えるように構成するとよい。
【0151】
以上、本明細書で開示された主な発明を次にまとめる。
【0152】
[付記1] 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法。
【0153】
[付記2] 所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とする付記1に記載の画像処理方法。
【0154】
[付記3] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記2に記載の画像処理方法。
【0155】
[付記4] 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置。
【0156】
[付記5] 所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段をさらに備えることを特徴とする付記1に記載の画像処理装置。
【0157】
[付記6] 前記連結処理手段は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記5に記載の画像処理装置。
【0158】
[付記7] 画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラム。
【0159】
[付記8] 前記画像処理装置に、
さらに、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するための付記7に記載のプログラム。
【0160】
[付記9] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記8に記載のプログラム。
【0161】
[付記10] 画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラムが記録された、前記画像処理装置により読取可能な記録媒体。
【0162】
[付記11] 前記画像処理装置に、
さらに、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するためのプログラムが記録された、前記画像読取装置に読取可能な付記10に記載の記録媒体。
【0163】
[付記12] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記11に記載の前記画像処理装置により読取可能な記録媒体。
【0164】
【発明の効果】
請求項1または請求項4に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換され、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【0165】
請求項2に記載の発明によれば、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【0166】
また、第3の画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【0167】
請求項3に記載の発明によれば、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を第1の画像とし、この第1の画像から第3の画像を生成する場合に、第1の画素及び第2の画素がともに最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることにより該第3の画素を白地の輝度とすることができ、第1の画素及び第2の画素がともに最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が第1の画素の輝度とされることにより前記第3の画素を文字の輝度とすることができ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分を連結することができ、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることによりノイズを除去することができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【図2】(a)は画像の一例を示す図、(b)は(a)に示す画像を複数のブロックに分割した様子を示す図、(c)は平均輝度を算出する対象の領域を示す図である。
【図3】各種のヒストグラムの例を示す図である。
【図4】ブロック下地レベルの設定処理を説明するための図である。
【図5】平滑化処理を説明するための図である。
【図6】画素下地レベルの算出処理を説明するための図である。
【図7】算出した画素下地レベルを用いて画素ごとに行う階調補正の補正関数を示す図である。
【図8】ノイズ除去・連結部によるノイズ除去・連結処理を説明するための図である。
【図9】階調補正の補正関数を示す図である。
【図10】本発明の画像処理方法の手順を示すフローチャートである。
【図11】図10のステップ♯5のブロック下地レベル設定部によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【図12】図10のステップ♯6の平滑化処理部による平滑化処理の詳細な手順を示すフローチャートである。
【図13】図10のステップ♯9のノイズ除去・連結部によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【図14】本発明に係る画像処理を実行する機能をパーソナルコンピュータに搭載した場合に、画像を撮像し、その画像を記憶したり記録紙等に出力するように構成されたシステムのブロック図である。
【符号の説明】
8,27 制御部
9,32 RGB−YCrCb変換部
10,33 ブロック設定部
11,34 ヒストグラム生成部
12,35 ブロック下地レベル設定部
13,36 平滑化処理部
14,37 画素下地レベル演算部
15,38 第1階調補正処理部
16,39 ノイズ除去・連結部
17,40 第1彩度補正部
18,41 第2階調補正処理部
19,42 第2彩度補正部
20,43 輪郭補正部
21,44 YCrCb−RGB変換部
【発明の属する技術分野】
本発明は、白板等を撮影した画像の下地とばし処理を行う画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】
一般に、デジタルカメラは、画像処理により撮影された画像の画質を自在に制御できるため、撮影の目的や被写体の種類に応じて撮影画像の画質に対して適切な処理を行うことにより、銀塩フィルムに撮影するカメラに比してより好適な画質の画像を得ることができるという利点を有する。このため、通常の写真撮影だけでなく、例えば会議場でホワイトボードに描かれた文字や図形等を撮影することにも利用される。
【0003】
デジタルカメラで文字や図形等が描かれたホワイトボードを撮影する場合、その撮影の目的はホワイトボード上の文字や図形等の情報を記録することにある。このため、上記のような撮影画像については、ホワイトボードの白地部分を確実に純白色にする、所謂下地とばし処理を行うことにより、文字や図形等の情報部分の明瞭度を向上させることが求められる。
【0004】
下記特許文献1には、ホワイトボードを撮影する場合に、ホワイトボードの下地(白板部分)をとばし、文字や図形等の情報部分の明瞭度を向上させることを目的として、被写体光像を三原色の色成分の画素信号として取り込み、色成分の画像毎に、各色成分の画素信号を用いて所定の白地レベル以上の画素信号を白色飽和レベルに変換するγ特性を設定し、このγ特性を用いてガンマ補正を行うように構成したものが開示されている。
【0005】
ところで、ホワイトボードを撮影する目的が、ホワイトボード上の文字や図形等の情報を正確に記録することにあるならば、例えば小さな点状のノイズや、ホワイトボードの電灯光の反射による文字の途切れを解消することも、文字や図形等の情報の正確な記録を行うという点で重要な事項と考えられる。
【0006】
下記特許文献2には、撮像画像の画素を間引いて画素密度を荒くした後に、ノイズを除去するとともに、周辺画素との比較論理演算を用いた膨張処理及び収縮処理を行うことで、文字の途切れた部分を連結させるようにした技術が開示されている。
【0007】
【特許文献1】
特開平10−210287号公報
【特許文献2】
特開平10−42130号公報
【0008】
【発明が解決しようとする課題】
しかしながら、上記のように画像の解像度を変換することで、ノイズ除去処理や連結処理を行う構成では、その解像度変換処理、特に上述の膨張処理や収縮処理に多大な時間を要することとなる。
【0009】
本発明は、上記事情に鑑みてなされたものであり、多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことのできる画像処理方法及び画像処理装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
請求項1に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法である。
【0011】
請求項4に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置である。
【0012】
請求項1または請求項4に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換される。
【0013】
そして、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【0014】
請求項2に記載の発明は、請求項1に記載の画像処理方法において、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とするものである。
【0015】
この発明によれば、例えば、平均値処理を施す前の画像における文字の筆跡が途中で途切れている部分など、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【0016】
また、特に、本発明においては、上記2個の画素列を連続させた画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【0017】
請求項3に記載の発明は、請求項2に記載の画像処理方法において、前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とするものである。
【0018】
この発明によれば、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度が最大輝度とされ、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度が第1の画素の輝度とされ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定され、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度が最大輝度とされる。
【0019】
これにより、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を前記第1の画像とし、この第1の画像から前記第3の画像を生成する場合に、第1の画素及び第2の画素がともに最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることにより該第3の画素が白地とされる。
【0020】
また、第1の画素及び第2の画素がともに最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が第1の画素の輝度とされることにより前記第3の画素が文字とされ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分が連結され、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることによりノイズが除去される。
【0021】
【発明の実施の形態】
本発明の実施形態について説明する。
【0022】
図1は、本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【0023】
図1に示すように、デジタルカメラ1は、光学系2、撮像素子3、信号処理部4、A/D変換部5、画像処理部6、画像メモリ7、制御部8、記憶部22、VRAM23、表示部24及び操作部25を備えて構成されている。
【0024】
光学系2は、光軸方向に駆動されるズームレンズを含み、被写体の光像を撮像素子3の結像面上に結像するものである。
【0025】
撮像素子3は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に2次元配列され、各光電変換素子の受光面に、それぞれR(赤),G(緑),B(青)の色フィルタが1:2:1の比率で配設されてなるCCDカラーエリアセンサである。
【0026】
撮像素子3は、光学系2により結像された被写体の光像を、例えば1/30(秒)毎にR(赤),G(緑),B(青)の色成分の電気信号(画像信号)に変換し、R,G,B各色の画像信号として出力する。
【0027】
撮像素子3は、図略のタイミングジェネレータ等により、撮像素子3の露出動作の開始及び終了や、撮像素子3における各画素の出力信号の読出し(水平同期、垂直同期、転送)等の撮像動作が制御される。
【0028】
信号処理部4は、CDS(相関二重サンプリング)回路やAGC(オートゲインコントロール)回路等を有し、撮像素子3から出力されるアナログの画像信号に、CDS回路により画像信号のノイズの低減を行って、AGC回路により画像信号のレベル調整を行う等の所定のアナログ信号処理を施すものである。
【0029】
A/D変換部5は、信号処理部4により出力されたアナログ値のR,G,Bの画像信号を、複数のビットからなるデジタル値の画像信号(以下、デジタル信号という)にそれぞれ変換するものである。
【0030】
画像処理部6は、A/D変換部5によりA/D変換されたR,G,Bの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、R(赤)、G(緑)、B(青)の各色成分のデジタル信号のレベル変換を行うホワイトバランス、R(赤),G(緑),B(青)のデジタル信号のγ特性を補正するγ補正を行うものである。
【0031】
画像メモリ7は、画像処理部6から出力される画像を一時的に記憶するとともに、この画像データに対し制御部8により後述の処理を行うための作業領域として用いられるメモリである。画像メモリ7は、例えばRAM等である。
【0032】
制御部8は、例えば制御プログラムを記憶するROMや一時的にデータを記憶するRAMからなる図略の記憶部が内蔵されたマイクロコンピュータからなり、上述したデジタルカメラ1内の各部分の駆動を有機的に制御して、デジタルカメラ1の撮影動作を統括的に制御するものである。
【0033】
また、本実施形態においては、例えば文字や図等が描かれたホワイトボード等を撮影した場合に、この制御部8が、ホワイトボードの白地部分(文字等が描かれていない部分)を確実に純白色にし、かつ文字の明瞭化を行うための画像処理を行うところに特徴を有している。
【0034】
ここで、この画像処理の概略について説明すると、画像処理部6から出力されるR,G,Bの各デジタル信号を、以下の処理上の都合から、輝度信号Y及び色差信号Cr,Cbに変換する。そして、画像全体を複数のブロックに分割し、ブロックごとに、輝度Yについてのヒストグラムを生成する。
【0035】
次に、生成したヒストグラムにおいて、ある輝度(後述する平均輝度Ya)から低輝度側及び高輝度側に度数の極大部(ピーク)を探索し、このピークを用いて各ブロックにおける下地レベル(後述するブロック下地レベル)を設定する。次に、このブロック下地レベルを補正(平滑化)した後、この補正後のブロック下地レベルから画素ごとの下地レベル(後述する画素下地レベル)を算出する。
【0036】
次に、上記画素下地レベルを用いて、画素ごとに階調補正を行った後、ノイズの除去処理及び文字等の断線部分の連結処理を行い、黒色ではなく、赤や黄等の輝度の比較的高いインクで書かれた文字等を見やすくするための階調補正を行う。
【0037】
そして、文字領域等の彩度を向上させる処理及び輪郭補正処理を行った後、輝度信号Y及び色差信号Cr,Cbを元のR,G,Bの各デジタル信号に変換して終了する。
【0038】
以上のような画像処理を実現すべく、図1に示すように、制御部8は、RGB−YCrCb変換部9、ブロック設定部10、ヒストグラム生成部11、ブロック下地レベル設定部12、平滑化処理部13、画素下地レベル演算部14、第1階調補正処理部15、ノイズ除去・連結部16、第1彩度補正部17、第2階調補正処理部18、第2彩度補正部19、輪郭補正部20及びYCrCb−RGB変換部21を備える。
【0039】
なお、以下の説明において、文字等が描かれたホワイトボードの板面のうち、文字等が描かれた部分を文字領域、何も描かれていない白色の部分を白板領域というものとする。
【0040】
RGB−YCrCb変換部9は、輝度のヒストグラムを生成するため、画像処理部から出力されるR,G,Bの各デジタル信号を、次式(1)〜(3)に従って、輝度信号Y及び色差信号Cr,Cbに変換するものである。
【0041】
Y=0.299R+0.587G+0.114B …(1)
Cr=0.500R−0.419G−0.081B …(2)
Cb=−0.169R−0.332G+0.500B …(3)
ブロック設定部10は、RGB−YCrCb変換部9による変換処理後の画像を所定数のブロックに分割するものである。例えば、ブロック設定部10は、図2(a)に示すように、文字「ABC」が板面に書かれたホワイトボードを撮像素子3により撮像し、RGB−YCrCb変換部9により変換処理した画像を、図2(b)に示すように、複数のブロックに分割する。
【0042】
その際、本実施形態では、ブロック設定部10は、例えば、できるだけレンズの周辺光量落ちが発生している部分だけで一つのブロックが構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比してできる限り小さいサイズに分割する。
【0043】
これは、上述したように、各ブロックにおけるブロック下地レベルの設定を、ある輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、1つのブロックに、この周辺光量落ちが発生している部分と発生していない部分とが混在していると、例えば、そのブロックの適切なブロック下地レベルが、周辺光量落ちが発生している部分の輝度レベルであっても、周辺光量落ちが発生していない部分の輝度レベルがそのブロックのブロック下地レベルとして設定される場合が生じ、ブロック下地レベル設定部12により不適切なブロック下地レベルが設定される虞があるからである。
【0044】
なお、レンズの周辺光量落ちとは、レンズの外周側に入射する光が、レンズに対して斜めに入射することにより、レンズの単位面積あたりに入射される光量が、レンズの中央部に入射する光よりも少なくなり、その結果、画像の周辺(特に四隅)が暗くなる現象をいう。
【0045】
また、上記のようにRGB−YCrCb変換部9による変換処理後の画像を複数のブロックに分割するのは、ホワイトボードに手書きされたものは文字密度(白地部分に対する文字部分の比率)のばらつきが大きく、しかも写真撮影の場合は、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きいことから、撮像画像の各部位の文字密度及び照度に応じたブロック下地レベルを設定するためである。
【0046】
ヒストグラム生成部11は、ブロック設定部10により生成された各ブロックに対し、ブロックの画素における輝度Yのヒストグラムを作成するものである。
【0047】
図3は、輝度Yについての度数分布を示す各種のヒストグラムであり、横軸は輝度Y、縦軸は画素数Nである。
【0048】
例えば、輝度の低いインク(例えば黒のインク)で描かれた文字の領域、白板領域、光源(例えば電灯の光)を反射した領域やホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックの場合、そのヒストグラムは、図3(a)に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり(矢印A)、白板領域の比較的高い或る輝度レベルで画素数が極大となり(矢印B)、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる(矢印C)。
【0049】
また、非常に輝度の低い物体の領域、白板領域、光源(例えば電灯の光)を反射した領域及びホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図3(b)に示すように、上記物体の領域の非常に低い或る輝度レベルで画素数が極大となり(矢印D)、白板領域の比較的高い或る輝度レベルで画素数が極大となり(矢印E)、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる(矢印F)。
【0050】
また、輝度の低いインクで描かれた文字の領域、及び図3(a)の矢印Cや図3(b)の矢印Fに示すピークの輝度レベルよりもさらに高い、光源を反射した領域等を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図3(c)に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり(矢印G)、光源を反射した領域及びホワイトボードの金属枠の領域の非常に高い或る輝度レベルで画素数が極大となる(矢印H)。
【0051】
さらに、輝度の低いインク(例えば黒のインク)で描かれた文字の領域、白板領域、光源(例えば電灯の光)を反射した領域及びホワイトボードの金属枠の領域に加えて、例えばオレンジ色や黄色等のインクで書かれた文字等、輝度が白板領域とやや近似する文字領域を撮像した画素を有するブロックについては、そのヒストグラムを忠実に作成すると、例えば図3(d)に示すように、図3(a)に示すヒストグラムに対し、さらに白板領域の輝度レベルよりやや低い輝度レベルにおいてピーク(矢印I)を有するものとなる。
【0052】
しかし、上述したように、各ブロックにおけるブロック下地レベルの設定を、或る輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、オレンジ色等のインクで書かれた文字等の領域の輝度が、白板領域の輝度と後述する画像全体の輝度との間の値となった場合、白板領域の輝度をブロック下地レベルと設定すべきところを、オレンジ色のインクで書かれた文字等の領域の輝度をブロック下地レベルと誤って設定される虞がある。
【0053】
そこで、本実施形態においては、図3(e)に示すように、色差信号Cr,Cbの値が所定の閾値以下、すなわち彩度の低い画素データだけを用いてヒストグラムを作成することにより、白板領域と近似する文字領域の輝度レベルにおけるピークを予め除去しておくようにしている。
【0054】
ブロック下地レベル設定部12は、撮影対象の目的物の背景(上記の例ではホワイトボードの白板領域)を下地というものとすると、ブロックごとに作成したヒストグラムを用いて、各ブロックに対して下地の輝度レベルを設定するものである。なお、このように設定したブロックにおける下地の輝度レベルをブロック下地レベルという。
【0055】
ブロック下地レベル設定部12は、まず、ホワイトボードの板面の平均輝度を算出する。ここで、ホワイトボードは、画像の中央部分に存在する可能性が高いと考えられるから、ブロック下地レベル設定部12は、図2(c)に示すように、ホワイトボードの板面の平均輝度を正確に算出するために、画像の中央部分(例えば画像全体の縦横それぞれ60%の中央部分)から平均輝度Yaを算出する。
【0056】
そして、上記のような各種のヒストグラムにおいて、複数の極大値を有する輝度レベルのうち、算出した画像の平均輝度Yaに最も近い輝度レベルを、ブロック下地レベルとして設定する。
【0057】
例えば、あるブロックについてのヒストグラムが、図4(a)に示すものとなったとし、算出された画像の平均輝度Yaが図4(a)に示す輝度であるものとすると、まず、平均輝度Yaから高輝度側(矢印Pの方向)に、各輝度レベルにおける頻度値(度数)の大小を判定していく。そして、最初に現れたピークをピークYHとする。
【0058】
なお、このピークYHの検出は、例えば、或る輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【0059】
ここで、図4(b)に示すような非常に高い輝度レベル(矢印J)がブロック下地レベルとして設定されると、次のような不具合がある。
【0060】
すなわち、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素、特に中心画素の近傍に位置する画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0061】
本実施形態では、このような不具合を防止すべく、図4(c)に示すように、上述した非常に高い輝度レベルよりも小さい上限値Ymax(輝度レベルを256階調で表現するものとすると例えば250階調)を設定し、この上限値Ymaxまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【0062】
これにより、ブロックが、非常に高い輝度(本実施形態においては、階調が250を超える輝度)を有する被写体を撮像した画素が存在するものであっても、このような輝度がブロック下地レベルとして設定されるのを防止することができる。
【0063】
一方、図4(b)に示すようなヒストグラムを有するブロックの場合には、平均輝度Yaから上限値Ymaxまでの間にピークを有しないので、上記のように上限値Ymaxまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Yaよりも低い輝度を有するものである場合にも、ピークは検出されない。
【0064】
この場合には、上記平均輝度Yaを、該ブロックのブロック下地レベルとして設定することにより、背景(白地)の輝度レベルに近い輝度レベルをブロック下地レベルとして設定することができる。
【0065】
次に、図4(a)に示すヒストグラムにおいて、図4(d)に示すように、平均輝度Yaから低輝度側(矢印Qの方向)に、各輝度レベルにおける頻度値の大小を判定していく。このとき、最初に現れたピークをピークYLとする。
【0066】
なお、このピークYLの検出は、ピークYHの検出と同様、例えば、ある輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【0067】
また、図4(e)に示すように、ホワイトボードに貼着しているマグネットや非常に暗い背景など、非常に低い輝度レベルがブロック下地レベルとして設定されると、次のような不具合がある。
【0068】
すなわち、上記と同様、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0069】
本実施形態では、このような不具合を防止すべく、図4(f)に示すように、上述した非常に低い輝度レベルよりも大きい下限値Ymin(輝度レベルを256階調で表現するものとすると例えば10階調)を設定し、この下限値Yminまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【0070】
一方、図4(e)に示すようなヒストグラムを有するブロックの場合、平均輝度Yaから下限値Yminまでの間にピークを有しないので、上記のように下限値Yminまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Yaよりも高い輝度を有するものである場合にも、ピークは検出されない。
【0071】
この場合には、上記平均輝度Yaを、該ブロックのブロック下地レベルとして設定することにより、背景の輝度レベルに近い輝度レベルをピークレベルとして設定することができる。
【0072】
以上のように、高輝度側のピークYHと低輝度側のピークYLとを検出した場合には、いずれか平均輝度Yaに近い方を、そのブロックのブロック下地レベルYbとして設定する。例えば、図4(g)においては、
Ya−YL>YH−Ya …(4)
であるから、高輝度側のピークYHをそのブロックのブロック下地レベルYbとして設定する。
【0073】
ところで、ホワイトボードに写った光源や、該ホワイトボードの金属枠の領域、あるいはホワイトボードに貼着されたマグネットなどの領域の輝度が上限値Ymaxと下限値Yminとの間の値であった場合でも、これらの領域を撮像したブロックにあっては、該ブロックの輝度のヒストグラムのみに基づいてブロック下地レベルを設定するように構成すると、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されることとなる。
【0074】
しかし、上記と同様、後述する画素下地レベル演算部14では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部14により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【0075】
平滑化処理部13は、この問題を回避すべく、全ての画素について、画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に、ブロック下地レベル設定部12により設定した各ブロックのブロック下地レベルの平滑化(隣接するブロックとのブロック下地レベルの差を小さくすること)を行うものである。
【0076】
平滑化処理を画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に行うのは、電灯光の反射光等が写る可能性の少ない画像の中央に位置する画素から平滑化処理を行うことで、より適切な画素下地レベルを設定するためである。
【0077】
図5は、平滑化処理部13による平滑化処理を説明するための図である。
【0078】
図5に示すように、平滑化処理部13は、平滑化を行う対象のブロック(以下、注目ブロックという、図5において斜線で示す)に対して平滑化処理を行うにあたり、当該注目ブロックを含む、縦横それぞれ所定数のブロック(本実施形態では、縦横それぞれ3ブロック)からなるブロック群を用いる。
【0079】
その際、この平滑化に用いるブロック(以下、平滑化ブロックという)を、注目ブロックが画像の中心Oから最も離間する角部に位置するように決定する。例えば、図5に示すように、画像全体を画像の中心Oを含む線分で縦横それぞれ2等分割し、注目ブロックが左上領域T1に位置するときには、注目ブロックが左上角部に位置するように平滑化ブロックを決定する。
【0080】
これと同様に、注目ブロックが左下領域T2に位置するときには、注目ブロックが左下角部に位置するように平滑化ブロックを決定し、右上領域T3に位置するときには、注目ブロックが右上角部に位置するように平滑化ブロックを決定し、右下領域T4に位置するときには、注目ブロックが右下角部に位置するように平滑化ブロックを決定する。
【0081】
なお、図5は、各領域T1〜T4における1組の注目ブロック及び平滑化ブロックをそれぞれ抽出し描いたものである。
【0082】
このように平滑化ブロックを設定するのは、光源の反射やホワイトボードの金属枠が存在する領域は、画像の周辺に位置することが多い一方、より画面中央に近い領域は、光源などの影響を受けていない領域が存在する可能性が高いことから、光源などの影響を受けていない、画面中央側のブロックを注目ブロックの平滑化に利用することで、注目ブロックのブロック下地レベルと、隣接するブロックのブロック下地レベルとの差が小さくなり、適切に平滑化を行うことができるからである。
【0083】
平滑化処理部13は、このように設定した平滑化ブロックと注目ブロックとの中で、輝度の低い所定数(本実施形態では3つ)のブロックを抽出し、これらのブロックのブロック下地レベルの平均Yabを算出して、この平均値Yabを注目ブロックのブロック下地レベルに設定する。
【0084】
また、図5(b)に示すように、光源の反射光が写っている可能性の少ない画像の中央に位置するブロックから平滑化処理を行って、ブロック下地レベルを適切に設定すべく、例えば右上領域T3におけるブロックに番号を付したとき、平滑化処理部13は、例えば1→2→6→5→9→10→11→7→3→4→8→12→・・・や、1→2→6→5→3→7→11→10→9→4→8→12→・・・、あるいは、1→2→5→3→6→9→4→7→10→8→11→12・・・や、1→2→5→9→6→3→4→7→10→8→11→12・・・などのように、画像の中央側に位置するブロックから周辺側に位置するブロックに向かって順番に平滑化処理を行っていく。
【0085】
画素下地レベル演算部14は、平滑化処理部13により平滑化処理が施された各ブロックのブロック下地レベルを、それぞれ対応するブロックの中心位置に位置する画素(以下、中心画素という)の下地レベルとみなした上で、各中心画素間に位置する画素の下地レベル(以下、画素下地レベルという)を線形補間により算出する。
【0086】
図6において、1つのマスが1つのブロックを表すものとし、ブロックB1の中心画素G1の画素下地レベルをY1、ブロックB2の中心画素G2の画素下地レベルをY2、ブロックB3の中心画素G3の画素下地レベルをY3、ブロックB4の中心画素G4の画素下地レベルをY4とすると、例えばブロックB1内の任意の画素Gxの画素下地レベルYGを、これらの画素下地レベルY1〜Y4により算出する。
【0087】
すなわち、画素Gxの画素下地レベルYGを次式(5)
YG=(α・Y1+β・Y2+γ・Y3+δ・Y4)/4 …(5)
により算出する。なお、α,β,γ,δは重み係数であり、各重み係数は、画素Gxから各ブロックB1〜B4の中心画素G1〜G4までの距離に比例する関係を有する。
【0088】
第1階調補正処理部15は、画素下地レベル演算部14により算出された画素下地レベルを用いて、画素ごとに、図7に示すような補正関数を設定し、この補正関数に基づいて階調補正を行うものである。
【0089】
図7は、第1階調補正処理部15による階調補正の補正関数を示すものであり、横軸は、第1階調補正処理部15の入力(RGB−YCrCb変換処理後の画像の画素の輝度レベル)、縦軸は、第1階調補正処理部15の出力である。
【0090】
図7に示す補正関数の場合は、入力が100未満のときには、出力を0とし、入力が画素下地レベル演算部14により算出された画素下地レベルYβ以上のときには、出力を255とする。また、入力レベルが100から上記画素下地レベルYβまでの間においては、入力と出力とを線形的な関係とし、この線形関数にしたがって階調補正を行う。
【0091】
この階調補正によれば、RGB−YCrCb変換処理後の画像における各画素の輝度レベルが、当該画素の画素下地レベル演算部14により算出された画素下地レベルYβ以上であるものについて、その輝度レベルが最高輝度(本実施形態ではY=255)に変換されるので、背景(白板)とすべき領域が、純白色に設定される。
【0092】
また、次式(6)で表される輝度レベルYQ
YQ={25500/(355−Yβ)} …(6)
を境界とし、この値YQより小さい輝度レベルを有する画素については、出力レベルが入力レベルより小さい値に変換されることから、輝度レベルが上記式(6)に示すYQの値より小さい輝度レベルを有する文字領域について、背景とのコントラストが大きくされる。
【0093】
ところで、画像処理部6により画像処理が施された画像に、小さな点状のノイズが含まれている場合、ノイズが発生している部分の画素については、ノイズが発生していない場合における当該画素の画素下地レベルより低い輝度レベルを有することとなる。したがって、このような画素については、図7に示す補正関数による階調補正を行っても、純白色(階調を255)に変換することができない。
【0094】
また、例えば図7に示すように、入力レベルが画素下地レベル演算部14により算出された画素下地レベルYβ以上である領域については、第1階調補正処理部15による階調補正により、最高輝度(階調255)に変換されることから、RGB−YCrCb変換処理後の画像における文字の一部分に、画素下地レベル演算部14により算出された画素下地レベルYβ以上である領域(インクが薄い領域やかすれている領域等)が存在した場合には、この部分で筆跡が途切れることとなる。
【0095】
ノイズ除去・連結部16は、このようなノイズを除去して本来の背景色(純白色)に補正するとともに、筆跡が途切れた部分(断線部分)を連結する処理を行うものである。
【0096】
図8は、ノイズ除去・連結部16によるノイズ除去・連結処理を説明するための図である。
【0097】
例えば図8(a)に示すように、ノイズや途切れた部分が存在するものとすると、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する(以下、この処理を平均値処理という)。これにより、図8(b)に示すように、平均値処理後の画像は、文字やノイズがぼやけたものとなる。
【0098】
そして、ノイズ除去・連結部16は、平均値処理後の画像であって、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合には、その画素は孤立点、すなわちノイズと判定し、輝度レベルを最高輝度に変換する。これにより、図8(c)に示すように、ノイズを除去することができる(以下、この処理を孤立点除去処理という)。
【0099】
また、文字の途切れた部分を連結し、且つぼかした文字を明瞭にするため、ノイズ除去・連結部16は、第1階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを比較して、次のような処理を行う。
【0100】
すなわち、ノイズ除去・連結部16は、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素については、白板領域を撮像したものであると判断し、その画素の輝度レベルを最高輝度(純白色)に設定する。
【0101】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素については、次のように処理する。
【0102】
第1階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素には、本来、文字領域とすべき、上記の階調補正によって筆跡が途切れた部分の画素と、第1階調補正処理後の画像においては最高輝度を有していたが平均値処理後に最高輝度でなくなった、文字領域とすべきではない画素(例えば、図8(b)の矢印Lで示す領域の画素)とが含まれている。
【0103】
そこで、本実施形態では、図8(e)に示すように、上記所定の方向に上記所定数以上連続している2個の画素列のうち一方の画素列が他方の画素列の延長線上に存在するか否かを判断することにより、断線部分及びその断線部分における筆跡の方向(矢印K)を第1階調補正処理後の画像から検出するとともに、文字領域とすべき領域の画素(図8(e)の斜線部分)を検出する。
【0104】
そして、この文字領域とすべき領域の画素については、上記の階調補正によって文字の筆跡が途切れ、この途切れた部分が平均値処理により繋がったものと判断して、文字領域と考えられる周辺の画素を用いて輝度レベルを算出する。すなわち、当該画素の周辺に位置する8つの画素の輝度レベルの平均値をその輝度レベルに設定する。これにより、断線部分が連結される。
【0105】
一方、上述の文字領域とすべきではない画素については、その輝度レベルを最高輝度(純白色)に設定する。
【0106】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像においては最高輝度を有さず、平均値処理及び孤立点除去処理後に最高輝度となった画素については、ノイズ(孤立点)を撮像し、このノイズが孤立点除去処理によって除去されたものと判断して、その画素の輝度レベルを孤立点除去処理において変換された最高輝度に維持する。
【0107】
また、ノイズ除去・連結部16は、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない画素については、文字領域を撮像したものであると判断し、その画素の輝度レベルを第1階調補正処理後の画像における当該画素の輝度レベルに設定する。
【0108】
これにより、図8(d)に示すように、図8(a)に対しノイズが除去され、且つ文字の途切れた部分が連結され、且つぼかした文字が明瞭化された画像が得られる。
【0109】
第1彩度補正部17は、ノイズ除去・連結部16による処理後の輝度が最高輝度(階調255)に変換された画素について、彩度を有することのないように、色差信号Cr,Cbの値を0にする補正を行うものである。
【0110】
第2階調補正処理部18は、最高輝度を有しない画素を、文字領域を撮像した画素であると判断して、図9に示すような補正関数により階調補正を行うものである。
【0111】
図9においては、入力レベルが128以下のときには、出力レベルを入力レベルと同一とし、例えばオレンジ色のインクで書かれた文字等、色の薄い文字等を見やすくするために、入力レベルが128より大きく255以下のときには、補正関数の傾きを入力レベルが128以下の場合の補正関数に比して緩やかにすることで、階調128を超える比較的高い輝度を有する画素が撮像した画像について、暗めに階調補正される。なお、この階調補正は、制御部8の各部による各種処理が終了した画像を所定の画像形成装置で印刷した場合に、上記のような文字を見やすくすることを特に考慮して行われている。
【0112】
第2彩度補正部19は、ホワイトボードに書かれた文字等を見やすくするために、階調補正後の文字領域に対して、色差信号Cr,Cbに所定のゲインをかけて、彩度を増加させるものである。
【0113】
輪郭補正部20は、周知の一般的な手法により、文字等の輪郭を強調する輪郭補正を行うものである。
【0114】
YCrCb−RGB変換部21は、輪郭補正部20により輪郭補正が施された輝度信号Y及び色差信号Cr,Cbを、次式(7)〜(9)にしたがって、RGBの画像信号に変換するものである。
【0115】
R=Y+1.402Cr …(7)
G=Y−0.714Cr−0.344Cb …(8)
B=Y+1.772Cb …(9)
記憶部22は、制御部8における上述した各種の処理が施された画像を記憶するものである。
【0116】
VRAM23は、表示部24に表示される画像のバッファメモリであり、表示部24の画素数に対応した画像の記憶容量を有する。
【0117】
表示部24は、制御部8における上述した各種の処理が施され、VRAM23に一時的に記憶された画像を表示するものである。
【0118】
操作部25は、ホワイトボード等を撮影するため、制御部8に上述の各種処理を実行させるモードと、これらの処理を行わないで通常の撮影動作を実行させるモードとを切り替えるための操作部を含む。
【0119】
次に、本発明の画像処理方法の手順について説明する。
【0120】
図10は、本発明の画像処理方法の手順を示すフローチャートである。
【0121】
図10に示すように、まず、画像処理部6によりR,G,Bの各デジタル信号が出力される(ステップ♯1)と、RGB−YCrCb変換部9により、これらのデジタル信号が輝度信号Y及び色差信号Cr,Cbに変換された(ステップ♯2)後、ブロック設定部10により、画像全体が複数のブロックに分割され(ステップ♯3)、ヒストグラム生成部11により、ブロックごとにブロックの画素における輝度Yのヒストグラムが生成される(ステップ♯4)。
【0122】
そして、ブロック下地レベル設定部12により、生成したヒストグラムを用いて各ブロックにおけるブロック下地レベルが設定され(ステップ♯5)、平滑化処理部13により、このブロック下地レベルが平滑化された(ステップ♯6)後、画素下地レベル演算部14により、この平滑化処理後のブロック下地レベルから画素ごとに画素下地レベルが算出される(ステップ♯7)。
【0123】
次に、第1階調補正処理部15により、上記画素下地レベルを用いて、画素ごとに階調補正が行われ(ステップ♯8)、ノイズ除去・連結部16により、ノイズの除去処理及び文字等の断線部分の連結処理が行われる(ステップ♯9)。
【0124】
そして、ノイズ除去・連結部16による処理後の画素の輝度が最高輝度を有しない場合(ステップ♯10でYES)には、第2階調補正処理部18により、その画素の輝度に対し図9に示す補正関数により階調補正が行われた(ステップ♯11)後、第2彩度補正部19により、文字領域等の彩度を向上するための処理が行われる(ステップ♯12)。一方、ステップ♯10において、ノイズ除去・連結部16による処理後の画素の輝度が最高輝度を有する場合(ステップ♯10でNO)には、第1彩度補正部により、その画素について、色差信号Cr,Cbの値を0にする補正が行われる(ステップ♯13)。
【0125】
そして、ステップ♯12又は♯13の処理が終了すると、輪郭補正部20により輪郭補正処理が行われた(ステップ♯14)後、YCrCb−RGB変換部21により輝度信号Y及び色差信号Cr,CbをR,G,Bの各デジタル信号に変換される(ステップ♯15)。
【0126】
図11は、図10のステップ♯5のブロック下地レベル設定部12によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【0127】
図11に示すように、ホワイトボードの板面の平均輝度Yaが算出され(ステップ♯21)、この平均輝度Yaから高輝度側に上限値Ymaxまで、各輝度レベルにおける頻度値の大小判定が行われる(ステップ♯22)。
【0128】
そして、ピークが存在したか否かが判定され(ステップ♯23)、ピークが存在する場合(ステップ♯23でYES)には、最初に検出されたピークYHが高輝度側のピークとして設定され(ステップ♯24)、ピークが存在しない場合(ステップ♯23でNO)には、平均輝度Yaが高輝度側のピークとして設定される(ステップ♯25)。
【0129】
次に、平均輝度Yaから低輝度側に下限値Yminまで、各輝度レベルにおける頻度値の大小判定が行われ(ステップ♯26)、ピークが存在したか否かが判定される(ステップ♯27)。
【0130】
その結果、ピークが存在する場合(ステップ♯27でYES)には、最初に検出されたピークYLが低輝度側のピークとして設定され(ステップ♯28)、ピークが存在しない場合(ステップ♯27でNO)には、平均輝度Yaが低輝度側のピークとして設定される(ステップ♯29)。
【0131】
そして、ステップ♯24及び♯28で設定された高輝度側のピークYHと低輝度側のピークYLとについて、いずれか平均輝度Yaに近い方が、そのブロックのブロック下地レベルYbとして設定される(ステップ♯30)。
【0132】
以上の処理が全てのブロックについて終了するまで(ステップ♯31でNO)、処理対象のブロックを順番に変えて(ステップ♯32)、ステップ♯22〜♯30までの処理が行われ、全てのブロックについてブロック下地レベル設定処理が終了する(ステップ♯31でYES)と、ブロック下地レベル設定部12による処理を終了する。
【0133】
図12は、図10におけるステップ♯6の平滑化処理部13による平滑化処理の詳細な手順を示すフローチャートである。
【0134】
図12に示すように、まず、注目ブロックが、画像の左上領域に位置するとき(ステップ♯41でYES)、この注目ブロックが左上角部に位置するように平滑化ブロックが決定され(ステップ♯42)、注目ブロックが、画像の左下領域に位置するとき(ステップ♯43でYES)、この注目ブロックが左下角部に位置するように平滑化ブロックが決定され(ステップ♯44)、注目ブロックが、画像の右上領域に位置するとき(ステップ♯45でYES)、この注目ブロックが右上角部に位置するように平滑化ブロックが決定され(ステップ♯46)、注目ブロックが右下領域に位置するとき(ステップ♯45でNO)、この注目ブロックが右下角部に位置するように平滑化ブロックが決定される(ステップ♯47)。
【0135】
ステップ♯41,♯43,♯45、♯47のいずれかで決定された平滑化ブロックと注目ブロックとの中で、輝度の低い3つのブロックが抽出された(ステップ♯48)後、これらのブロックのブロック下地レベルの平均Yabが算出され(ステップ♯49)、この平均値Yabが注目ブロックのブロック下地レベルに設定される(ステップ♯50)。
【0136】
以上の処理が全てのブロックについて終了するまで(ステップ♯51でNO)、処理対象のブロックを順番に変えて(ステップ♯52)、ステップ♯41〜♯50までの処理が行われ、全てのブロックについて平滑化処理が終了する(ステップ♯51でYES)と、平滑化処理部13による処理を終了する。
【0137】
図13は、図10におけるステップ♯9のノイズ除去・連結部16によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【0138】
図13に示すように、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理が行われ(ステップ♯61)、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理が行われる(ステップ♯62)。
【0139】
そして、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素(ステップ♯63,♯64でYES)については、その画素の輝度レベルが最高輝度に設定される(ステップ♯65)。
【0140】
一方、第1階調補正処理後の画像においては最高輝度を有し(ステップ♯63でYES)、平均値処理及び孤立点除去後に最高輝度でなくなった(ステップ♯64でNO)画素については、文字領域とすべき画素であるか否かが判定され(ステップ♯66)、文字領域とすべき画素である場合(ステップ♯66でYES)には、文字領域と考えられる周辺の画素を用いて輝度レベルが算出され(ステップ♯67)、文字領域とすべきでない画素である場合(ステップ♯66でNO)には、その画素の輝度レベルが最高輝度に設定される(ステップ♯68)。
【0141】
また、第1階調補正処理後の画像においては最高輝度を有さず(ステップ♯63でNO)、平均値処理及び孤立点除去処理後に最高輝度となった(ステップ♯69でYES)画素については、その画素の輝度レベルが孤立点除去処理において変換された最高輝度に維持され(ステップ♯70)、第1階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない(ステップ♯63,♯69でNO)画素については、その画素の輝度レベルが第1階調補正処理後の画像における当該画素の輝度レベルに設定される(ステップ♯71)。
【0142】
このように、全ての画素について、当該画素の周囲に位置する8つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定することにより、一旦、文字やノイズをぼかし、このぼかした画像において、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定することでノイズを検出して、該ノイズを除去するようにしたので、ノイズが除去された画像を得ることができる。
【0143】
また、第1階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにしたから、文字の途切れた部分が連結され、かつ一旦ぼかした文字が明瞭化された画像を得ることができる。
【0144】
さらに、第1階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを単純に比較して、上記のような画像を生成するようにしたので、従来のように多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことができる。
【0145】
なお、本発明は、上記実施形態に限らず、次の変形形態(1),(2)が採用可能である。
【0146】
(1)上記実施形態においては、RGB−YCrCb変換部9、ブロック設定部10、ヒストグラム生成部11、ブロック下地レベル設定部12、平滑化処理部13、画素下地レベル演算部14、第1階調補正処理部15、ノイズ除去・連結部16、第1彩度補正部17、第2階調補正処理部18、第2彩度補正部19、輪郭補正部20及びYCrCb−RGB変換部21をデジタルカメラ1に搭載する場合について説明したが、これに限らず、図14に示すように、パーソナルコンピュータ26(以下、PC26という)の制御部27に搭載するように構成してもよい。
【0147】
この場合、図14に示すように、PC26は、例えばデジタルカメラなどの画像入力装置28からγ補正等の処理を施した画像を取り込み、上述のようにヒストグラムの生成、ブロック下地レベルの設定、平滑化処理、画素下地レベルの算出、ノイズ除去・連結処理等を行った後、ハードディスク装置等の画像記憶装置29に記憶する。
【0148】
また、この画像を紙面への印刷等の出力を行う場合には、PC26は、画像記憶装置29から該画像を取り込み、プリンタ等の画像出力装置29に画像を送出し、その画像出力装置30にプリントアウトを行わせるようにしてもよい。なお、操作部31は、制御部27にヒストグラムの生成処理等の実行を指示する入力を行うためのもので、マウスやキーボードを指す。
【0149】
(2)図14に示すPC26及び上記実施形態におけるデジタルカメラ1は、所定のプログラムにより、機能的に、RGB−YCrCb変換部9,32、ブロック設定部10,33、ヒストグラム生成部11,34、ブロック下地レベル設定部12,35、平滑化処理部13,36、画素下地レベル演算部14,37、第1階調補正処理部15,38、ノイズ除去・連結部16,39、第1彩度補正部17,40、第2階調補正処理部18,41、第2彩度補正部19,42、輪郭補正部20,43及びYCrCb−RGB変換部21,44を備えて、各種の処理を実行するようにしたものであるが、これに限られず、ハードウェアにより、これらの処理を実行する構成としてもよい。
【0150】
なお、所定のプログラムにより、制御部8,27に上記各部を備える場合には、例えばフレキシブルディスク、CD−R、あるいはDVD−Rなどの外部の記録媒体との間でデータの読み書きを行う図略の装置を用いて、PC26を、RGB−YCrCb変換部9,32、ブロック設定部10,33、ヒストグラム生成部11,34、ブロック下地レベル設定部12,35、平滑化処理部13,36、画素下地レベル演算部14,37、第1階調補正処理部15,38、ノイズ除去・連結部16,39、第1彩度補正部17,40、第2階調補正処理部18,41、第2彩度補正部19,42、輪郭補正部20,43及びYCrCb−RGB変換部21,44として機能させるためのプログラムを記録した記録媒体から該プログラムをインストールするようにし、PC26はこのプログラムをインストールすることで、機能的にRGB−YCrCb変換部9,32等を備えるように構成するとよい。
【0151】
以上、本明細書で開示された主な発明を次にまとめる。
【0152】
[付記1] 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法。
【0153】
[付記2] 所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とする付記1に記載の画像処理方法。
【0154】
[付記3] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記2に記載の画像処理方法。
【0155】
[付記4] 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置。
【0156】
[付記5] 所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段をさらに備えることを特徴とする付記1に記載の画像処理装置。
【0157】
[付記6] 前記連結処理手段は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記5に記載の画像処理装置。
【0158】
[付記7] 画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラム。
【0159】
[付記8] 前記画像処理装置に、
さらに、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するための付記7に記載のプログラム。
【0160】
[付記9] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記8に記載のプログラム。
【0161】
[付記10] 画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラムが記録された、前記画像処理装置により読取可能な記録媒体。
【0162】
[付記11] 前記画像処理装置に、
さらに、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するためのプログラムが記録された、前記画像読取装置に読取可能な付記10に記載の記録媒体。
【0163】
[付記12] 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする付記11に記載の前記画像処理装置により読取可能な記録媒体。
【0164】
【発明の効果】
請求項1または請求項4に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換され、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【0165】
請求項2に記載の発明によれば、所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【0166】
また、第3の画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【0167】
請求項3に記載の発明によれば、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を第1の画像とし、この第1の画像から第3の画像を生成する場合に、第1の画素及び第2の画素がともに最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることにより該第3の画素を白地の輝度とすることができ、第1の画素及び第2の画素がともに最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が第1の画素の輝度とされることにより前記第3の画素を文字の輝度とすることができ、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有するときには、前記第3の画素の輝度が前記第1の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分を連結することができ、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有するときには、前記第3の画素の輝度が最大輝度とされることによりノイズを除去することができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【図2】(a)は画像の一例を示す図、(b)は(a)に示す画像を複数のブロックに分割した様子を示す図、(c)は平均輝度を算出する対象の領域を示す図である。
【図3】各種のヒストグラムの例を示す図である。
【図4】ブロック下地レベルの設定処理を説明するための図である。
【図5】平滑化処理を説明するための図である。
【図6】画素下地レベルの算出処理を説明するための図である。
【図7】算出した画素下地レベルを用いて画素ごとに行う階調補正の補正関数を示す図である。
【図8】ノイズ除去・連結部によるノイズ除去・連結処理を説明するための図である。
【図9】階調補正の補正関数を示す図である。
【図10】本発明の画像処理方法の手順を示すフローチャートである。
【図11】図10のステップ♯5のブロック下地レベル設定部によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【図12】図10のステップ♯6の平滑化処理部による平滑化処理の詳細な手順を示すフローチャートである。
【図13】図10のステップ♯9のノイズ除去・連結部によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【図14】本発明に係る画像処理を実行する機能をパーソナルコンピュータに搭載した場合に、画像を撮像し、その画像を記憶したり記録紙等に出力するように構成されたシステムのブロック図である。
【符号の説明】
8,27 制御部
9,32 RGB−YCrCb変換部
10,33 ブロック設定部
11,34 ヒストグラム生成部
12,35 ブロック下地レベル設定部
13,36 平滑化処理部
14,37 画素下地レベル演算部
15,38 第1階調補正処理部
16,39 ノイズ除去・連結部
17,40 第1彩度補正部
18,41 第2階調補正処理部
19,42 第2彩度補正部
20,43 輪郭補正部
21,44 YCrCb−RGB変換部
Claims (4)
- 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法。 - 所定の方向に所定数以上連続している2個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記2個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とする請求項1に記載の画像処理方法。
- 前記連結処理は、前記平均値処理を施す前の第1の画像における第1の画素とこの画素に対応する前記孤立点除去処理を施した第2の画像における第2の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第3の画像を生成するものであり、前記第1の画素及び第2の画素がともに最大輝度を有する場合、前記第3の画素の輝度を最大輝度とし、前記第1の画素及び第2の画素がともに最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を第1の画素の輝度とし、前記第1の画素が最大輝度を有し、前記第2の画素が最大輝度より小さい輝度を有する場合、前記第3の画素の輝度を前記第1の画素の周辺に位置する画素の輝度を用いて設定し、前記第1の画素が最大輝度より小さい輝度を有し、前記第2の画素が最大輝度を有する場合、前記第3の画素の輝度を最大輝度とすることを特徴とする請求項2に記載の画像処理方法。
- 画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003096893A JP2004304641A (ja) | 2003-03-31 | 2003-03-31 | 画像処理方法及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003096893A JP2004304641A (ja) | 2003-03-31 | 2003-03-31 | 画像処理方法及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004304641A true JP2004304641A (ja) | 2004-10-28 |
Family
ID=33408818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003096893A Pending JP2004304641A (ja) | 2003-03-31 | 2003-03-31 | 画像処理方法及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004304641A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008079258A (ja) * | 2006-09-25 | 2008-04-03 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム |
JP2008079301A (ja) * | 2006-08-23 | 2008-04-03 | Matsushita Electric Ind Co Ltd | 撮像装置 |
KR100888428B1 (ko) | 2007-02-08 | 2009-03-11 | 엠텍비젼 주식회사 | 영상의 노이즈 제거 장치 및 방법 |
JP2010191968A (ja) * | 2009-02-19 | 2010-09-02 | Fujitsu Ltd | 画像強調方法及び画像強調装置 |
US7956907B2 (en) | 2006-08-23 | 2011-06-07 | Panasonic Corporation | Image capture device with low-frequency noise suppression |
WO2013190896A1 (ja) * | 2012-06-19 | 2013-12-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置、孤立点ノイズ補正方法及び画像処理プログラム |
-
2003
- 2003-03-31 JP JP2003096893A patent/JP2004304641A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008079301A (ja) * | 2006-08-23 | 2008-04-03 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US7956907B2 (en) | 2006-08-23 | 2011-06-07 | Panasonic Corporation | Image capture device with low-frequency noise suppression |
JP2008079258A (ja) * | 2006-09-25 | 2008-04-03 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム |
KR100888428B1 (ko) | 2007-02-08 | 2009-03-11 | 엠텍비젼 주식회사 | 영상의 노이즈 제거 장치 및 방법 |
JP2010191968A (ja) * | 2009-02-19 | 2010-09-02 | Fujitsu Ltd | 画像強調方法及び画像強調装置 |
WO2013190896A1 (ja) * | 2012-06-19 | 2013-12-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置、孤立点ノイズ補正方法及び画像処理プログラム |
JP2014003462A (ja) * | 2012-06-19 | 2014-01-09 | Olympus Corp | 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法 |
US9367902B2 (en) | 2012-06-19 | 2016-06-14 | Olympus Coporation | Image processing device, endoscope apparatus, isolated point noise correction method, and information storage device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7057653B1 (en) | Apparatus capable of image capturing | |
US7710470B2 (en) | Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
US20060232692A1 (en) | Image pickup apparatus | |
KR20050025275A (ko) | 화상처리장치 및 방법과, 기록매체 | |
US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
US8280162B2 (en) | Image processing apparatus and recording medium recording image processing program | |
JP2002010108A (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2003304549A (ja) | カメラ及び画像信号処理システム | |
JP2014010776A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2004304635A (ja) | 画像処理方法及び画像処理装置 | |
JP2004304641A (ja) | 画像処理方法及び画像処理装置 | |
JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
JP2006333113A (ja) | 撮像装置 | |
JPH10322592A (ja) | 電子カメラの制御方法及び装置 | |
JP4028395B2 (ja) | デジタルカメラ | |
JP2004304637A (ja) | 画像処理方法及び画像処理装置 | |
JP3064961B2 (ja) | 電子スチルカメラ | |
JP4478981B2 (ja) | 色雑音低減手法およびカラー撮像装置 | |
JP2002209228A (ja) | 画像処理装置 | |
JP3198983B2 (ja) | 電子スチルカメラ | |
JP3697464B2 (ja) | 文書画像処理装置、撮像装置及び文書画像処理プログラム | |
JP3540567B2 (ja) | 電子的撮像装置 | |
JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
JP3433653B2 (ja) | 電子スチルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |