JP2009182733A - 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置 - Google Patents

Abstract

【課題】折れ曲がったエッジや角のあるエッジについても、偽色の発生を抑えたカラー画像を復元し、かつ補間処理を高速化することが可能な画像データ生成方法および画像データ生成装置、並びに情報コード読取装置を提供する。
【解決手段】撮像装置１０の信号処理部１５は、上記の所定のパターン（ベイヤー配列）の画像のある画素において、欠損している色の情報を、隣接した、欠損している色と同じ色の情報を元に、中心から見て同じ方向のその他の色の勾配情報を加味し、この処理を上下左右４方向または、斜め４方向に対して行い、さらに４方向において個別の重みを計算し荷重平均処理することにより、実際の補間値を定め、その際の重み付けは、中心画素と同色近接画素の差分情報を利用し、差分が小さい方向の補間データの重み付けは大きくし、差分が大きい方向の補間データの重み付けを小さくする。
【選択図】図１

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等の単板式の撮像素子とカラーフィルタを用いて撮像し、得られた画像から、各画素について欠損している他の色の画素データを補間してカラー撮像画像データを生成する画像データ生成方法および画像データ生成装置に関するものである。

ＣＣＤセンサのような単板式の撮像素子を用いた撮像装置では、そのまま撮影しても単一の分光感度しか得られないので、カラー画像を得るために、各画素に対応する受光素子の受光面に、所定のパターン(たとえば、Ｒ（赤），Ｇ（緑），Ｂ（青）からなるベイヤー配列）のカラーフィルタを設けて撮影することが一般に行われている。

この撮像により得られる画像は、各画素が単一の色成分しか有していないため、色に関しては、色フィルタのパターンに応じたモザイク状（市松パターン）の画像（色モザイク画像）となる。
色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、すべての画素がすべての色成分（Ｒ，Ｇ，Ｂ）を有している画像、すなわち、カラー画像を生成するようにしている。

これらの補間手法については、特許文献１「Ａｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｐｌａｎｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ（ＡＣＰＩ）」、特許文献２「Ｇｒａｄｉｅｎｔ Ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ（ＧＢＩ）」、特許文献３などに提案されている。

特許文献１に開示されているＡＣＰＩ（適応型カラーブレーン補間方法）では、色の３原色の一つである緑（Ｇｒｅｅｎ）においては、近傍同色画素の平均値に赤（Ｒｅｄ）または青（Ｂｌｕｅ）の二次勾配を加えて補間し、赤（Ｒｅｄ）と青（Ｂｌｕｅ）においては、近傍同色画素の平均値に緑（Ｇｒｅｅｎ）の二次勾配を加えて補間する。

特許文献２のＧＢＩでは、Ｇｒｅｅｎにおいては、近傍同色画素の平均で補完し、ＲｅｄとＢｌｕｅにおいては、ＢｌｕｅとＧｒｅｅｎまたはＲｅｄとＧｒｅｅｎの差分平均値にＧｒｅｅｎの画素を加えて補間する。

米国特許５６２９７３４号明細書 米国特許５３７３３２２号明細書 特開２００５−１７５８３０号公報

しかしながら、ＡＣＰＩやＧＢＩの手法は、補間地点を中心にして水平方向もしくは垂直方向の画素データを利用するため、直線のエッジに対しては偽色を抑える効果があるが、折れ曲がったエッジや角のあるエッジについては、偽色が発生しやすいという問題があった。

また、ＡＣＰＩやＧＢＩの手法では、水平方向と垂直方向など、どちらのデータを利用するかの判定処理が必要であり、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を使用してハードウェア化する際に、処理の高速化の妨げとなっている。

また、特許文献３には、偽色を除去する技術が開示されているが、各画素について補間ベクトル量を算出し、その各量と平均値の差を閾値と比較することで偽色の配点を行い、偽色判定された画素に対して偽色除去処理を行うため、演算量が多くなり、処理の高速化の妨げとなる。

本発明は、折れ曲がったエッジや角のあるエッジについても、偽色の発生を抑えたカラー画像を復元し、かつ補間処理を高速化することが可能な画像データ生成方法および画像データ生成装置、並びに情報コード読取装置を提供することにある。

本発明の第１の観点は、撮像素子の受光面に各画素に対応して複数種類のカラーフィルタをモザイク状に配置して撮像された画像において、各画素について、対応しているカラーフィルタ以外の色データを周りの画素データを用いた補間によって求める画像データ生成方法であって、対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味するステップと、前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求めるステップとを有する。

好適には、前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が小さい方向の補間データの重み付けは大きくする。

好適には、前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が大きい方向の補間データの重み付けは小さくする。

本発明の第２の観点の画像データ生成装置は、撮像素子と、前記撮像素子の受光面に各画素に対応してモザイク状に配置された複数種類のカラーフィルタと、対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味し、前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求め、カラー画像データを生成する信号処理部とを有する。

本発明の第３の観点は、画像データ生成装置を有する情報コード読取装置であって、
前記画像データ生成装置は、撮像素子と、前記撮像素子の受光面に各画素に対応してモザイク状に配置された複数種類のカラーフィルタと、対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味し、前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求め、カラー画像データを生成する信号処理部と、を含む。

本発明によれば、折れ曲がったエッジや角のあるエッジについても、偽色の発生を抑えたカラー画像を復元し、かつ補間処理を高速化することができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロックである。
図２は、単板式撮像素子に配置するカラーフィルタの色の配列（ベイヤー配列）を示す図である。

撮像装置１０は、図１に示すように、レンズ光学系１１、カラーフィルタ１２、ＣＣＤ等の撮像素子１３、アナログ／デジタル（Ａ／Ｄ）変換部１４、信号処理部１５、およびメモリ１６を有する。
レンズ光学系１１、カラーフィルタ１２、および撮像素子１３により光学系が構成され、Ａ／Ｄ変換部１４、信号処理部１５、およびメモリ１６により信号処理系が構成される。

レンズ光学系１１は、被写体に対向するレンズを含み、このレンズにより被写体の光学像を集光して、撮像素子１３上に被写体の像を結像する。
撮像素子１３には、図２に示すような、ＲＧＢのベイヤー配列等のカラーフィルタ１２が設けられている。
撮像素子１３は、その受光面に各画素に対応して複数種類のカラーフィルタ１２がモザイク状に配置されている。

信号処理系においては、撮像素子１３から出力されるアナログ信号をＡＤ変換部１４によりデジタル信号に変換される。
信号処理（補間処理）部１５は、メモリ１６に画像データを配置し、ベイヤー配列の画像データからカラー画像データに変換する。

そして、本実施形態に係る撮像装置１０の信号処理部１５は、上記の所定のパターン（ベイヤー配列）の画像のある画素を中心として、欠損している色の情報を、隣接した、欠損している色と同じ色の情報を元に、中心から見て同じ方向のその他の色の勾配情報を加味することによって求める。
信号処理部１５は、この処理を上下左右４方向または、斜め４方向に対して行い、さらに４方向において個別の重みを計算し荷重平均処理することにより、実際の補間値を定める。
その際の重み付けは、中心画素と同色近接画素の差分情報を利用し、差分が小さい方向の補間データの重み付けは大きくし、差分が大きい方向の補間データの重み付けを小さくする。
これにより、欠落した色のエッジ情報を補うことを特徴とするカラー撮像画像データの補間方法を実現している。

以下、図２に示すベイヤー配列モザイク画像を例として、補間処理の内容について詳細に説明する。
図３は、本実施形態に係る補間手順を示すフローチャートである。

図３の補間手順では、ステップＳＴ１で、Ｒｅｄ画素における欠損Ｇｒｅｅｎ画素データの補間計算を行う。
ステップＳＴ２で、Ｂｌｕｅ画素における欠損Ｇｒｅｅｎ画素データの補間計算を行う。
ステップＳＴ３で、Ｒｅｄ画素における欠損Ｂｌｕｅ画素データの補間計算を行う。
ステップＳＴ４で、Ｂｌｕｅ画素における欠損Ｒｅｄ画素データの補間計算を行う。
ステップＳＴ５で、Ｇｒｅｅｎ画素における欠損Ｒｅｄ画素データの補間計算を行う。
ステップＳＴ６で、Ｇｒｅｅｎ画素における欠損Ｂｌｕｅ画素データの補間計算を行う。
以下に、より具体的な処理を説明する。

Ｒｅｄ画素Ｒ３３においてＧｒｅｅｎ画素Ｇ３３を補間計算する方法を以下に示す。
上下左右に隣接するＧｒｅｅｎ画素に、各方向のＲｅｄ画素の差分情報を加え、４方向の補間情報を作成する。
隣接するＧｒｅｅｎ画素の中心からの距離は１画素分であり、差分をとるＲｅｄ画素は中心から２画素分に相当するため、Ｒｅｄ画素の差分情報は２で割っている。
この処理を次式に示す。

［数１］
（上補間値）Ｇ＿Ｕ＝Ｇ２３＋（Ｒ３３−Ｒ１３）／２
（下補間値）Ｇ＿Ｄ＝Ｇ４３＋（Ｒ３３−Ｒ５３）／２
（左補間値）Ｇ＿Ｌ＝Ｇ３２＋（Ｒ３３−Ｒ３１）／２
（右補間値）Ｇ＿Ｒ＝Ｇ３４＋（Ｒ３３−Ｒ３５）／２

さらに、それぞれの方向の重みをＲｅｄ画素の差分から計算する。差分が小さい程重みを持たせることにより、エッジ情報を保存できる。
この処理を次式に示す。

［数２］
（上重み）Ｗ＿Ｕ＝２５５＋１―｜Ｒ３３−Ｒ１３｜
（下重み）Ｗ＿Ｄ＝２５５＋１−｜Ｒ３３−Ｒ５３｜
（左重み）Ｗ＿Ｌ＝２５５＋１−｜Ｒ３３−Ｒ３１｜
（右重み）Ｗ＿Ｒ＝２５５＋１−｜Ｒ３３−Ｒ３５｜

上式（２）は、画素データが０〜２５５の範囲に存在する場合であり、＋１をしているのは、重みが０になることを防ぐためである。
仮に画素データが０〜４０９５の範囲のデータである場合は、上式の２５５を４０９５に置き換える。
例としては次の様になる。

［数３］
（上重み）Ｗ＿ＵＰ＝４０９５＋１―｜Ｒ３３−Ｒ１３｜

以降の計算式も画素データが０〜２５５の範囲に存在する場合であり、仮に画素データが０〜４０９５の範囲のデータである場合は、２５５を４０９５に置き換えるものとする。

Ｒｅｄ画素Ｒ３３でのＧｒｅｅｎの補間情報は上の結果を用いて加重平均する。

［数４］
Ｇ３３＝（Ｇ＿Ｕ＊Ｗ＿Ｕ＋Ｇ＿Ｄ＊Ｗ＿Ｄ＋Ｇ＿Ｌ＊Ｗ＿Ｌ＋Ｇ＿Ｒ＊Ｗ＿Ｒ）／（Ｗ＿Ｕ＋Ｗ＿Ｄ＋Ｗ＿Ｌ＋Ｗ＿Ｒ）

Ｂｌｕｅ画素Ｂ２２において、Ｇｒｅｅｎ画素Ｇ２２を補間計算する方法は、上記の計算法のＲｅｄ情報をＢｌｕｅ情報に置き換えて計算する。
以上の処理をＧｒｅｅｎ画素の欠損地点に当てはめることにより、全ての画素のＧｒｅｅｎ情報が揃う。

次に、Ｒｅｄ画素Ｒ３３において、Ｂｌｕｅ画素Ｂ３３を補間計算する方法を示す。
この場合斜め方向で計算するが、考え方はＧｒｅｅｎ画素の補間と同様である。
この処理を次式に示す。

［数５］
（左斜め上補間値）Ｂ＿ＵＬ＝Ｂ２２＋（Ｒ３３−Ｒ１１）／２
（右斜め上補間値）Ｂ＿ＵＲ＝Ｂ２４＋（Ｒ３３−Ｒ１５）／２
（左斜め下補間値）Ｂ＿ＤＬ＝Ｂ４２＋（Ｒ３３−Ｒ５１）／２
（右斜め下補間値）Ｂ＿ＤＲ＝Ｂ４４＋（Ｒ３３−Ｒ５５）／２
（左斜め上重み）Ｗ＿ＵＬ＝２５５＋１−｜Ｒ３３−Ｒ１１｜
（右斜め上重み）Ｗ＿ＵＲ＝２５５＋１−｜Ｒ３３−Ｒ１５｜
（左斜め下重み）Ｗ＿ＤＬ＝２５５＋１−｜Ｒ３３−Ｒ５１｜
（右斜め下重み）Ｗ＿ＤＲ＝２５５＋１−｜Ｒ３３−Ｒ５５｜
Ｂ３３＝（Ｂ＿ＵＬ＊Ｗ＿ＵＬ＋Ｂ＿ＵＲ＊Ｗ＿ＵＲ＋Ｂ＿ＤＬ＊Ｗ＿ＤＬ＋Ｂ＿ＤＲ＊Ｗ＿ＤＲ）／（Ｗ＿ＵＬ＋Ｗ＿ＵＲ＋Ｗ＿ＤＬ＋Ｗ＿ＤＲ）

次に、上下隣接画素にＲｅｄ画素があるＧｒｅｅｎ画素Ｇ２３において、Ｒｅｄ画素Ｒ２３を補間計算する方法を示す。この処理には上記で作成したＧｒｅｅｎ情報を用いる。
この処理を次式に示す。

［数６］
（上補間値）Ｒ＿Ｕ＝Ｒ１３＋（Ｇ２３−Ｇ１３）
（下補間値）Ｒ＿Ｄ＝Ｒ３３＋（Ｇ２３−Ｇ３３）
（上重み）Ｗ＿Ｕ＝２５５＋１−｜Ｒ２３−Ｒ１３｜
（下重み）Ｗ＿Ｄ＝２５５＋１−｜Ｒ２３−Ｒ３３｜
Ｒ２３＝（Ｒ＿Ｕ＊Ｗ＿Ｕ＋Ｒ＿Ｄ＊Ｗ＿Ｄ）／（Ｗ＿Ｕ＋Ｗ＿Ｄ）

次に、左右隣接画素にＲｅｄ画素があるＧｒｅｅｎ画素Ｇ３２において、Ｒｅｄ画素Ｒ３２を補間計算する方法を示す。この処理には上記で作成したＧｒｅｅｎ情報を用いる。
この処理を次式に示す。

［数７］
（左補間値）Ｒ＿Ｌ＝Ｒ３１＋（Ｇ３２−Ｇ３１）
（右補間値）Ｒ＿Ｒ＝Ｒ３３＋（Ｇ３２−Ｇ３３）
（左重み）Ｗ＿Ｌ＝２５５＋１−｜Ｒ３２−Ｒ３１｜
（右重み）Ｗ＿Ｒ＝２５５＋１−｜Ｒ３２−Ｒ３３｜
Ｒ３２＝（Ｒ＿Ｌ＊Ｗ＿Ｌ＋Ｒ＿Ｒ＊Ｗ＿Ｒ）／（Ｗ＿Ｌ＋Ｗ＿Ｒ）

上下隣接画素にＢｌｕｅ画素があるＧｒｅｅｎ画素におけるＢｌｕｅ画素の補間計算方法と左右隣接画素にＢｌｕｅ画素があるＧｒｅｅｎ画素におけるＢｌｕｅ画素の補間計算方法は、上記のＲｅｄ情報をＢｌｕｅ情報に置き換えて計算する。

以上のパターンを全画素に当てはめることにより、全ての画素のＲＧＢ情報が揃う。

図４は本発明の実施形態に係る方法で処理した画像を示し、図５はＡＣＰＩで処理した画像を示し、図６はＧＢＩで処理した画像を示している。また、図７はベイヤー配列になる以前の元画像を示している。

図８は、元画像とそれぞれの処理画像との差をＭＳＥ（Ｍｅａｎ Ｓｑｕｒｅ Ｅｒｒｏｒ）を用いて比較した数値が以下になる。ＭＳＥは小さい値ほど優れていることを示している。ここでは２次元バーコードの画像を使用している。

図８からわかるように、本発明方法は、ＡＣＰＩ，ＧＢＩに比べて、Ｒｅｄ画素、Ｇｒｅｅｎ画素、Ｂｌｕｅ画素ともに、ＭＳＥの値が大幅に小さく、良好な画像を生成することができる。

以上説明したように、本実施形態によれば、撮像装置１０の信号処理部１５は、上記の所定のパターン（ベイヤー配列）の画像のある画素において、欠損している色の情報を、隣接した、欠損している色と同じ色の情報を元に、中心から見て同じ方向のその他の色の勾配情報を加味し、この処理を上下左右４方向または、斜め４方向に対して行い、さらに４方向において個別の重みを計算し荷重平均処理することにより、実際の補間値を定める。
その際の重み付けは、中心画素と同色近接画素の差分情報を利用し、差分が小さい方向の補間データの重み付けは大きくし、差分が大きい方向の補間データの重み付けを小さくする。
これにより、折れ曲がったエッジや角のあるエッジについても、偽色の発生を抑えたカラー画像を復元し、かつ補間処理を高速化することができる。

本実施形態に係る撮像装置１０は、たとえば図９に示すような情報コード読取装置に適用可能である。

図９は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図１０（Ａ）〜（Ｃ）は、情報コードの例を示す図である。

本実施形態に係る情報コード読取装置１００は、図９に示すように、本体１１０がケーブル１１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物１２０に印刷された反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。
読み取り対象の情報コードとしては、たとえば図１０（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図１０（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。

本実施形態に係る情報コード読取装置１００は、本体１１０内に、図示しない照明光源と、図１に示すような撮像装置１０とが配置されている。
撮像装置１０は、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。

このように、本実施形態に係る撮像装置１０を情報コード読取装置１００に適用することにより、情報コードを撮像する場合であっても、折れ曲がったエッジや角のあるエッジについても、偽色の発生を抑えたカラー画像を復元でき、かつ補間処理を高速化することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロックである。 単板式撮像素子に配置するカラーフィルタの色の配列（ベイヤー配列）を示す図である。 本実施形態に係る補間手順を示すフローチャートである。 本発明の実施形態に係る方法で処理した画像を示す図である。 ＡＣＰＩで処理した画像を示す図である。 ＧＢＩで処理した画像を示す図である。 ベイヤー配列のカラーフィルタによる撮影以前の元画像を示す図である。 元画像とそれぞれの処理画像との差をＭＳＥ（Ｍｅａｎ Ｓｑｕｒｅ Ｅｒｒｏｒ）を用いて比較した数値を示す図である。 情報コード読取装置に適用される図１の撮像装置の構成例を示す図である。 情報コードの例を示す図である。

符号の説明

１０・・・撮像装置、１１・・・レンズ光学系、１２・・・カラーフィルタ、１３・・・撮像素子、１４・・・アナログ／デジタル（Ａ／Ｄ）変換部、１５・・・信号処理部、１６・・・メモリ、１００・・・情報コード読取装置。

Claims (7)

1. 撮像素子の受光面に各画素に対応して複数種類のカラーフィルタをモザイク状に配置して撮像された画像において、各画素について、対応しているカラーフィルタ以外の色データを周りの画素データを用いた補間によって求める画像データ生成方法であって、
   対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味するステップと、
   前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求めるステップと
   を有する画像データ生成方法。
2. 前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が小さい方向の補間データの重み付けは大きくする
   請求項１記載の画像データ生成方法。
3. 前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が大きい方向の補間データの重み付けは小さくする
   請求項１または２記載の画像データ生成方法。
4. 撮像素子と、
   前記撮像素子の受光面に各画素に対応してモザイク状に配置された複数種類のカラーフィルタと、
   対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味し、前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求め、カラー画像データを生成する信号処理部と
   を有する画像データ生成装置。
5. 前記信号処理部において、
   前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が小さい方向の補間データの重み付けは大きくする
   請求項４記載の画像データ生成装置。
6. 前記信号処理部において、
   前記重み付け係数は、前記対象画素の同色の近接画素の差分情報を利用し、当該差分が大きい方向の補間データの重み付けは小さくする
   請求項４または５記載の画像データ生成装置。
7. 画像データ生成装置を有する情報コード読取装置であって、
   前記画像データ生成装置は、
   撮像素子と、
   前記撮像素子の受光面に各画素に対応してモザイク状に配置された複数種類のカラーフィルタと、
   対象とする画素の、上下左右の４方向もしくは斜めの４方向のそれぞれの方向において、隣接した補間を要する色と同種の色情報を元に、同方向のその他の色の勾配情報を加味し、前記４方向において、個別の重み付け係数を計算し荷重平均処理することにより、補間値を求め、カラー画像データを生成する信号処理部と、を含む
   情報コード読取装置。