JP2010020529A - 画像補正装置、画像補正方法および画像補正プログラム - Google Patents

Abstract

【課題】複数の画素が市松配列された画像について、エッジに応じて各画素の間の画素が存在しない空の領域の画素を適切に生成する。
【解決手段】画素ブロック切出し部１１２は、市松配列の画像から、補正対象である２つの隣接した画素及びこれら２つの隣接した画素の両方に隣接している２つの空の領域と、それらの周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す。エッジ情報取得部１１３は、画素ブロックに含まれるエッジに基づいてエッジ情報を求める。最適補正辞書保存メモリ１２２は、最適補正辞書を記憶している。最適補正辞書は、画素ブロックに含まれる可能性のあるエッジの種別を示す複数のエッジ情報と、各エッジ情報に対応して、補正対象の２つの隣接した画素を補正する方法及び２つの空の領域の画素を生成する方法を示す。画素補正部１１４は、最適補正辞書を参照して、補正対象の画素を補正し、空の領域に対応する画素を生成する。
【選択図】図１

Description

本発明は、画像補正装置、画像補正方法および画像補正プログラムに関する。

帳票に印刷された文字やバーコード等を自動認識する場合、例えば、帳票に対向するように設置された非接触型スキャナにより帳票を撮影して画像データを取得する。そして、コンピュータ等を用いてこの画像データを処理することによって文字やバーコード等を認識する。

非接触型スキャナは、撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いる。非接触型スキャナの撮像素子の画像数は７００万〜１０００万画素程度である。非接触型スキャナを用いてＡ４サイズの用紙を撮影した場合、撮影された画像の解像度は約２５０ｄｐｉ〜３５０ｄｐｉである。

一方、印刷スペースを削減するために、線幅(エレメント幅)の狭いバーコードを帳票に印刷する場合がある。
このような場合、非接触型スキャナの撮像素子では解像度が不足し、撮影された画像データがバーコードの個々の線幅を正確に再現できないおそれがある。バーコードの個々の線幅を再現できないと、バーコードを正しく認識することができない。
そこで、画素をずらしながら撮影した複数の画像を合成して、撮像素子の実際の解像度よりも高い解像度の画像を生成することが考えられる。解像度の高い画像ではバーコードの各線幅が正確に再現されるため、バーコードを正しく認識することができる。

低解像度の画像から高解像度の画像を生成する方法として、基準となる画像と、基準となる画像に対して斜め方向に変位させた画像（水平方向と垂直方向にそれぞれ隣接した画素の間の距離の半分の距離だけ画素の位置を変位させた画像）とを合成する方法が知られている（例えば、特許文献１参照）。

この方法では、まず２枚の画像を重ねて、画素（以下、実画素という。）が市松状に配置された画像を生成する。次に、各実画素の間の画素が存在しない空の領域の画素（以下、虚画素という。）を、その領域の周辺の実画素から生成する。

例えば、虚画素の上下左右に隣接する実画素を重み付けして重畳することにより虚画素を生成することができる。しかし、エッジ(隣接した２つの画素の輝度差の大きい)部分では、輝度が高い画素と輝度が低い画素を用いて虚画素が生成されるため、ボケもしくはノイズが発生する場合がある。

そこで、特許文献１に開示されている画像補正方法では、まず、虚画素に隣接する左右の実画素の画素値の差から水平方向の変化量を検出し、上下の実画素の画素値の差から垂直方向の変化量を検出する。そして、画像の水平方向の変化量が垂直方向の変化量よりも小さい場合は、虚画素に隣接する左右の２つの実画素の平均値を虚画素の画素値とする。また、画像の垂直方向の変化量が水平方向の変化量よりも小さい場合は、虚画素に隣接する上下の２つの実画素の平均値を虚画素の画素値とする。水平方向と垂直方向の変化量が両方とも同等である場合は、上下左右の４つの実画素の平均値を虚画素の画素値とする。

特開平１０−１０８２０９号公報

しかし、特許文献１に開示されている画像補正方法では、エッジを正しく検出できない場合がある。例えば、撮影されたバーコードの線幅（エレメント幅）と実画素の間隔が等しい場合、左右の実画素の画素値の差と上下の実画素の画素値の差は両方とも０となり、水平方向と垂直方向の変化量は同等となる。このため、上下左右の４つの実画素の平均値が虚画素の画素値とされる。すなわち、エッジを検出することができず、エッジがないとして虚画素が生成される。

本発明は、上記実情に鑑み、複数の画素が市松状に配置された画像について、エッジを正しく検出し、検出されたエッジに応じて各画素の間の画素が存在しない空の領域の画素を適切に生成することができる画像補正装置、画像補正方法および画像補正プログラムを提供することを目的とする。

本発明の画像補正装置は、複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し手段と、
画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得手段と、
前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段と、
前記エッジ情報取得手段で求められたエッジ情報に対応する前記補正方法と前記生成方法を前記補正方法記憶手段から読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正手段と、
を備えることを特徴とする。

また、本発明の画像補正方法は、複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し工程と、
画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得工程と、
前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段から、前記エッジ情報取得工程で求められたエッジ情報に対応する前記補正方法と前記生成方法を読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正工程と、
を備えることを特徴とする。

また、本発明の画像補正プログラムは、コンピュータに、
複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し手順と、
画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得手順と、
前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段から、前記エッジ情報取得手順で求められたエッジ情報に対応する前記補正方法と前記生成方法を読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正手順と、
を実行させる。

本発明によれば、複数の画素が市松状に配置された画像について、エッジを正しく検出し、検出されたエッジに応じて各画素の間の画素が存在しない空の領域の画素を適切に生成することができる。

本発明の実施の形態に係る画像補正装置１は、図１に示すように、画像撮影部１０１と、画像保存メモリ１２１と、画像重ね合せ部１１１と、画素ブロック切出し部１１２と、エッジ情報取得部１１３と、画素補正部１１４と、最適補正辞書保存メモリ１２２とを有している。

画像撮影部１０１は、基準となる画像（以下、ずらし無し画像という。）と、基準となる画像に対して斜め方向に変位させた画像（水平方向と垂直方向にそれぞれ隣接した画素の間の距離の半分の距離だけ画素の位置を変位させた画像；以下、ずらし有り画像という。）を撮影する。画像撮影部１０１は、例えば、非接触型スキャナであり、帳票等を撮影する。

画像保存メモリ１２１は、画像撮影部１０１で撮影された２枚の画像（ずらし無し画像とずらし有り画像）を保存する。

画像重ね合せ部１１１は、画像保存メモリ１２１からずらし無し画像とずらし有り画像を読み出し、複数の実画素が市松状に配置された画像（以下、市松配列の画像という。）を生成する。
ここで、実画素は、例えば、輝度信号や色差信号を表す画素である。またＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号のいずれかを表す画素であっても良い。

画素ブロック切出し部１１２は、市松配列の画像から、隣接した実画素２個、虚画素２個を含む領域（以後、補正対象領域という。）を中心として所定の数の実画素と虚画素を含む画素ブロックを切出す。画素ブロック切出し部１１２は、後述するように、補正対象領域を中心とした画素ブロックを、市松配列の画像の左上隅から右下隅まで順次切出す。

エッジ情報取得部１１３は、後述するように、画素ブロック切出し部１１２によって切出された画素ブロックに含まれるエッジの種別を示すエッジ情報を求める。

最適補正辞書保存メモリ１２２は、最適補正辞書を格納する。最適補正辞書は、後述するように、全てのエッジ情報について、補正対象領域に含まれる実画素２個を最適に補正する方法と、虚画素２個を最適に生成する方法を保持している。
画素補正部１１４は、最適補正辞書保存メモリ１２２に格納されている最適補正辞書を参照してエッジ情報取得部１１３で生成されたエッジ情報に対応する最適な補正方法と生成方法を決定し、補正対象領域の実画素２個を補正し、虚画素２個を生成する。

なお、画素ブロック切出し部１１２は本発明の画素ブロック切出し手段の一例であり、エッジ情報取得部１１３は本発明のエッジ情報取得手段の一例であり、最適補正辞書保存メモリ１２２は本発明の補正方法記憶手段の一例であり、画素補正部１１４は本発明の画素補正手段の一例であり、画像撮影部１０１は、本発明の第１の撮影手段と第２の撮影手段の一例であり、画像重ね合せ部１１１は本発明の市松配列画像生成手段の一例である。

本発明の実施の形態に係る画像補正装置２は、図２に示すように、画像撮影部１０１と、ＣＰＵ１１と、メモリ１２と、ハードディスク１３で構成することもできる。画像撮影部１０１は、図１と図２で同一である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、プログラマブルなプロセサである。
メモリ１２は、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等のメモリを含む。メモリ１２は、ＣＰＵ１１のプログラムや各種の設定等を記憶する。また、メモリ１２は、ワークエリアとして使用される。
ハードディスク１３は、ずらし無し画像、ずらし有り画像及び市松配列の画像や最適補正辞書を記憶する。

画像補正装置２は、ＣＰＵ１２でプログラムを実行することにより、画像重ね合せ部１１１と画素ブロック切出し部１１２とエッジ情報取得部１１３と画素補正部１１４を実現する。

次に、本発明の実施の形態に係る画像補正方法について図３の画像補正処理を参照して説明する。

画像撮影部１０１は、例えば、帳票に対向するように設置された非接触型スキャナを用いて帳票を撮影し、図４（Ａ）に示すずらし無し画像２３１とずらし有り画像２３２を取得する（ステップＳ１０１）。
画像撮影部１０１は、撮影したずらし無し画像２３１とずらし有り画像２３２を画像保存メモリ１２１に格納する（ステップＳ１０２）。
ずらし無し画像２３１とずらし有り画像２３２の実画素は、例えば、２５６階調の多値イメージであり、帳票の紙面の白地部分（輝度が高い部分）の実画素の値は大きい。

画像重ね合せ部１１１は、図４（Ｂ）に示すように、画像保存メモリ１２１からずらし無し画像２３１とずらし有り画像２３２を読み出し、これらの画像を重ね合わせて、市松配列画像２３３を生成する（ステップＳ１０３）。補正対象枠２３４の内側が補正の対象である。

画素ブロック切出し部１１２は、図５Ａに示すように、まず市松配列画像２３３から１番目の画素ブロック４０１を切り出す（ステップＳ１０４）。画素ブロック４０１は、市松配列画像２３３の左上隅に位置しており、１８個の実画素で構成される。画素ブロック４０１は、実画素２個と虚画素２個で構成される補正対象領域４０２を含む。画素ブロック切出し部１１２は、切出した画素ブロック４０１をエッジ情報取得部１１３に出力する。

画素ブロック切出し部１１２は、図５Ｂに示すように、次に市松配列画像２３３から２番目の画素ブロック４０３を切り出す（ステップＳ１０４）。画素ブロック４０３は、実画素２個と虚画素２個で構成される補正対象領域４０４を含む。画素ブロック切出し部１１２は、切出した画素ブロック４０３をエッジ情報取得部１１３に出力する。
以降、画素ブロック切出し部１１２は、市松配列画像２３３の右下隅の最後の画素ブロックまで、市松配列画像２３３の左から右に、そして上から下に順次画素ブロックを切出し、切出した画素ブロックをエッジ情報取得部１１３に出力する。

エッジ情報取得部１１３は、図６に示すように、画素ブロック６０の中にずらし有り画像の９個の実画素Ａ０〜Ａ８と、ずらし無し画像の９個の実画素Ｂ０〜Ｂ８を含む。エッジ情報取得部１１３は、実画素Ａ０〜Ａ８と実画素Ｂ０〜Ｂ８を基にエッジ情報を求める（ステップＳ１０５）。
そして、画素補正部１１４は、エッジ情報取得部１１３によって求められたエッジ情報に応じて補正対象領域６１に含まれる右上の実画素Ｂ４（６１２）と左下の実画素Ａ４（６１３）を補正し、左上の虚画素６１１と右下の虚画素６１４を生成する（ステップＳ１０６）。

なお、ステップＳ１０４は本発明の画素ブロック切出し手段、画素ブロック切出し工程、画素ブロック切出し手順の一例であり、ステップＳ１０５は本発明のエッジ情報取得手段、エッジ情報取得工程、エッジ情報取得手順の一例であり、ステップＳ１０６は本発明の画素補正手段、画素補正工程、画素補正手順の一例である。

次に、エッジ情報取得部１１３と画素補正部１１４について詳細に説明する。

エッジ情報取得部１１３は、以下の条件式１〜条件式９に基づいてエッジ情報を求める。

ここで、Ｔ１とＴ２はそれぞれ予め定められた閾値である。｜Ｘ｜はＸの絶対値を意味する。エッジ情報取得部１１３は、条件式１〜条件式９が満たされる場合は「１」、満たされない場合は「０」とする。エッジ情報取得部１１３は、条件式１〜条件式９により判定された結果をそれぞれ９ビット目〜１ビット目として９ビットのデータを求める。すなわち、エッジ情報取得部１１３は、この９ビットのデータをエッジ情報として求める。エッジ情報は５１２通りである。

条件式１は、補正対象領域６１に含まれる２個の実画素Ａ４（６１３）とＢ４（６１２）の値の差が閾値Ｔ１より小さい場合に満たされる。すなわち、実画素Ａ４（６１３）とＢ４（６１２）がエッジを構成しない場合に満たされる。この場合、エッジ情報取得部１１３は、エッジ情報の９ビット目を「１」とする。２個の実画素Ａ４（６１３）とＢ４（６１２）の値の差が閾値Ｔ１以上である場合条件式１は満たされない。すなわち、実画素Ａ４（６１３）とＢ４（６１２）がエッジを構成する場合、条件式１は満たされない。この場合、エッジ情報取得部１１３は、エッジ情報の９ビット目を「０」とする。
エッジ情報取得部１１３は、同様にして、条件式２〜条件式５により、垂直方向のエッジの有無に応じてエッジ情報の８ビット目〜５ビット目を求める。また、エッジ情報取得部１１３は、条件式６〜条件式９により、水平方向のエッジの有無に応じてエッジ情報の４ビット目〜１ビット目を求める。

例えば、エッジが全く無ければ、エッジ情報は１１１１１１１１１（５１１）となり、エッジが有れば、エッジ情報は０〜５１０のいずれかになる。

エッジ情報取得部１１３は、画素ブロック６０と求められたエッジ情報を画素補正部１１４に出力する。

最適補正辞書保存メモリ１２２は、最適補正辞書を記憶している。最適補正辞書は、図７に示すように、エッジ情報に対応して、補正対象領域６１内の実画素Ａ４（６１３）、Ｂ４（６１２）の補正方法と虚画素６１１、６１４の生成方法についての情報を保持している。

以下の１−１式〜１−４式は、補正対象領域６１内の左上の虚画素６１１の生成方法を示す。１−１式は、虚画素６１１の周辺にエッジが無い場合に選択される。１−２式〜１−４式は、虚画素６１１の周辺にエッジがある場合に、エッジの状況に応じて選択される。

以下の２−１式と２−２式は、補正対象領域６１内の右上の実画素Ｂ４（６１２）の補正方法を示す。２−１式は、実画素Ｂ４（６１２）の周辺にエッジが無い場合に選択される。２−１式は、実画素Ｂ４（６１２）に平滑化処理を施す。２−２式は、実画素Ｂ４（６１２）の周辺にエッジがある場合に選択される。２−２式は、実画素Ｂ４（６１２）をそのまま出力する。

以下の３−１式と３−２式は、補正対象領域６１内の左下の実画素Ａ４（６１３）の補正方法を示す。

以下の４−１式〜２−４式は、補正対象領域６１内の右下の虚画素６１４の生成方法を示す。

画素補正部１１４は、最適補正辞書保存メモリ１２２に記憶されている最適補正辞書を参照して、画素ブロックに含まれる補正対象領域の実画素を補正し、虚画素に対応する画素を生成する。画素補正部１１４は、急激に輝度が変化するエッジ付近でのノイズを軽減し、エッジが無い部分（帳票の背景部分）のノイズも軽減した補正画像（高解像度画像）を生成する。

なお、画像補正装置２では、ＣＰＵ１１が画素ブロック切出し部１１２と、エッジ情報取得部１１３と、画素補正部１１４の処理をシーケンシャルに実行する。ＣＰＵ１１は、画素補正部１１４の処理が終了するごとに、終了した画素ブロックが市松配列画像２３３の右下隅の最後の画素ブロックであるか否かを判断する。ＣＰＵ１１は、最後の画素ブロックでない場合、ステップＳ１０４に戻り、画素ブロック切出し部１１２の処理を実行する。ＣＰＵ１１は、最後の画素ブロックである場合、画像補正処理を終了する。

次に、具体例について説明する。
図８（Ａ）と図８（Ｂ）は、画像撮影部１０１で撮影された垂直方向にエッジがある画像の一例である。図８（Ａ）はずらし無し画像であり、図８（Ｂ）はずらし有り画像である。画像重ね合せ部１１１は、これらの画像を重ね合わせて図９に示す市松配列の画像を生成する。

閾値Ｔ１＝１６、Ｔ２＝３２であるとき、エッジ情報取得部１１３は、図９の市松配列の画像について、条件式１〜条件式９に従って０１１１１００００（２４０）と０１１１１００１０（２４２）の２通りのエッジ情報を求める。
画素補正部１１４は、例えばエッジ情報０１１１１００００（２４０）について図７の最適補正辞書を参照し、左上虚画素６１１を１−２式、右上実画素６１２を２−２式、左下実画素６１３を３−２式、右下虚画素６１４を４−２式の方法でそれぞれ補正または生成する。画素補正部１１４は、補正された垂直方向にエッジがある画像として図１０に示す画像を出力する。

図１１（Ａ）と図１１（Ｂ）は、画像撮影部１０１で撮影された水平方向にエッジがある画像の一例である。図１１（Ａ）はずらし無し画像であり、図１１（Ｂ）はずらし有り画像である。画像重ね合せ部１１１は、これらの画像を重ね合わせて図１２に示す市松配列の画像を生成する。

閾値Ｔ１＝１６、Ｔ２＝３２であるとき、エッジ情報取得部１１３は、図１２の市松配列の画像について、条件式１〜条件式９に従って００００１１１１１（３１）と０００００１１１１（１５）の２通りのエッジ情報を求める。
画素補正部１１４は、例えばエッジ情報００００１１１１１（３１）について、図７の最適補正辞書を参照し、左上虚画素６１１を１−３式、右上実画素６１２を２−２式、左下実画素６１３を３−２式、右下虚画素６１４を４−３式の方法でそれぞれ補正または生成する。画素補正部１１４は、補正された画像として図１３に示す画像を出力する。

また、例えば、帳票の背景部分のようにエッジが無い場合、エッジ情報は１１１１１１１１１（５１１）である。画素補正部１１４は、図７の最適補正辞書を参照し、左上虚画素６１１を１−１式、右上実画素６１２を２−１式、左下実画素６１３を３−１式、右下虚画素６１４を４−１式の方法でそれぞれ補正または生成する。これらは周囲の画素の平均値による補正であり、画素補正部１１４は、紙面ノイズなどを除去する平滑化処理を施すことになる。

図１４は、本発明の実施形態の変形例である画像補正装置３を示す。図１と図１４の同一の構成要素には同じ符号が付されている。図１４の画像補正装置３は、解像度変換部１１５を有する点が図１の画像補正装置１と異なる。
水平方向と垂直方向についてそれぞれ隣接した画素の間の距離の半分だけ画素の位置を変位させて高解像度化すると、縦横の解像度が元の画像の２倍相当に固定される。解像度変換部１１５は、ユーザの要求に応じて出力画像の解像度を変更する。
解像度変換部１１５は、画素補正部１１４で補正された画像（補正画像）を入力し、補正画像の解像度と要求された解像度から倍率を算出し、線形補間法あるいは３次補間法を用いて補正画像に対して縮小処理を施す。そして、解像度変換部１１５は、元の画像の解像度と補正画像の解像度（２倍相当）の間の解像度の画像を出力する。

本発明によれば、複数の実画素が市松状に配置された画像（市松配列の画像）について、エッジを正しく検出し、エッジ付近にノイズを発生することなく、高品質で高解像度な画像を生成することができる。特に、条件式１は、補正対象領域に含まれる２個の実画素で構成されるエッジの有無を判定する。このため、例えば、撮影されたバーコードの線幅（エレメント幅）と実画素の間隔が等しい場合でも、エッジを検出することができ、エッジがあるにもかかわらず平滑化処理が施されることを防止できる。
また、実画素についてエッジが無い部分（ベタ塗り部分）に平滑化処理を施すため、エッジが無い部分についてもノイズを軽減することができる。

更に、本発明によれば、最適補正辞書が規定する補正対象領域内の実画素の補正方法と虚画素の生成方法についての情報を適宜変更することができる。必要に応じて最適な補正方法と生成方法を選択することによって、補正された画像を高画質化することができる。

なお、上記実施形態では、エッジ情報取得部１１３は輝度信号に基づいてエッジ情報を求めるとしたが、エッジ情報取得部１１３は色差信号やＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号を基にエッジ情報を求めても良い。

以上、本発明の実施の形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施の形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。

本発明の実施の形態に係る画像補正装置の一例を示す図である。 本発明の実施の形態に係る画像補正装置の別の例を示す図である。 画像補正処理のフロ−チャートの一例を示す図である。 ずらし無し画像とずらし有り画像から生成される市松配列の画像の一例を示す図である。 市松配列の画像から切出される画素ブロックの一例を示す図である。 市松配列の画像から切出される画素ブロックの一例を示す図である。 エッジ情報が求められる画素ブロックとその画素ブロックに含まれる補正対象領域の一例を示す図である。 最適補正辞書の一例を示す図である。 垂直方向にエッジがあるずらし無し画像とずらし有り画像の一例を示す図である。 垂直方向にエッジがある市松配列の画像の一例を示す図である。 垂直方向にエッジがある補正された画像の一例を示す図である。 水平方向にエッジがあるずらし無し画像とずらし有り画像の一例を示す図である。 水平方向にエッジがある市松配列の画像の一例を示す図である。 水平方向にエッジがある補正された画像の一例を示す図である。 本発明の実施形態の変形例である画像補正装置の一例を示す図である。

符号の説明

１、２、３…画像補正装置
１０１…画像撮影部
１１１…画像重ね合せ部
１１２…画素ブロック切出し部
１１３…エッジ情報取得部
１１４…画素補正部
１２１…画像保存メモリ
１２２…最適補正辞書保存メモリ
２３１…ずらし無し画像
２３２…ずらし有り画像
２３３…市松配列画像
２３４…補正対象枠
４０１、４０３…画素ブロック
４０２、４０４…補正対象領域
６０…画素ブロック
６１…補正対象領域
６１１、６１４…虚画素
６１２、６１３…実画素

Claims (6)

1. 複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し手段と、
   画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得手段と、
   前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段と、
   前記エッジ情報取得手段で求められたエッジ情報に対応する前記補正方法と前記生成方法を前記補正方法記憶手段から読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正手段と、
   を備えることを特徴とする画像補正装置。
2. 前記エッジ情報取得手段は、前記２つの隣接した画素におけるエッジの有無に応じたエッジ情報を求め、
   前記補正方法記憶手段は、前記２つの隣接した画素におけるエッジの有無に応じたエッジ情報に対応する前記補正方法と前記生成方法を記憶し、
   前記画素補正手段は、前記２つの隣接した画素におけるエッジの有無に応じたエッジ情報に対応する前記補正方法と前記生成方法に従って前記２つの隣接した画素を補正し、前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する、
   ことを特徴とする請求項１に記載の画像補正装置。
3. 前記エッジ情報取得手段は、前記画素列の方向に存在するエッジと画素列と異なる方向に存在するエッジに応じたエッジ情報を求め、
   前記補正方法記憶手段は、前記画素列の方向に存在するエッジと前記画素列と異なる方向に存在するエッジに応じたエッジ情報に対応する前記補正方法と前記生成方法を記憶し、
   前記画素補正手段は、前記画素列の方向に存在するエッジと前記画素列と異なる方向に存在するエッジに応じたエッジ情報に対応する前記補正方法と前記生成方法に従って前記２つの隣接した画素を補正し、前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する、
   ことを特徴とする請求項１又は２に記載の画像補正装置。
4. 第１の画像を撮影する第１の撮影手段と、
   前記第１の画像の画素の位置に対して、前記画素列の方向と前記画素列と異なる方向にそれぞれ隣接した画素の間の距離の半分の距離だけ画素の位置を変位させた第２の画像を撮影する第２の撮影手段と、
   前記第１の画像と前記第２の画像に基づいて前記市松配列の画像を生成する市松配列画像生成手段と、
   を備えることを特徴とする請求項３に記載の画像補正装置。
5. 複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し工程と、
   画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得工程と、
   前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段から、前記エッジ情報取得工程で求められたエッジ情報に対応する前記補正方法と前記生成方法を読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正工程と、
   を備えることを特徴とする画像補正方法。
6. コンピュータに、
   複数の画素列で構成されており、当該各画素列には複数の画素と画素の存在しない空の領域とが交互に所定の間隔で配置され、奇数番目の画素列に含まれる画素及び空の領域と偶数番目の画素列に含まれる画素及び空の領域とが画素列の方向にずらして配置された市松配列の画像から、奇数番目の画素列と偶数番目の画素列にそれぞれ含まれる２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域と、当該２つの隣接した画素及び当該２つの隣接した画素の両方に隣接している２つの空の領域の周囲の所定の数の画素及び空の領域とを含む画素ブロックを切り出す画素ブロック切出し手順と、
   画素値に差がある隣接した２つの画素で構成されるエッジを検出し、前記画素ブロックに含まれるエッジの種別を示すエッジ情報を求めるエッジ情報取得手順と、
   前記画素ブロックに含まれる可能性のあるエッジの種別を示すエッジ情報のグループに含まれる個々のエッジ情報ごとに、前記２つの隣接した画素を補正する補正方法及び前記２つの隣接した画素の両方に隣接している２つの空の領域に対応する画素を生成する生成方法とを記憶している補正方法記憶手段から、前記エッジ情報取得手順で求められたエッジ情報に対応する前記補正方法と前記生成方法を読み出して、読み出された前記補正方法に従って前記２つの隣接した画素を補正し、読み出された前記生成方法に従って前記２つの隣接した画素の両方に隣接した２つの空の領域に対応する画素を生成する画素補正手順と、
   を実行させるための画像補正プログラム。

Images