JP2015088810A

JP2015088810A - 色差信号を利用した画像処理方法

Info

Publication number: JP2015088810A
Application number: JP2013223957A
Authority: JP
Inventors: 耕太郎滝上; Kotaro Takigami
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-10-29
Filing date: 2013-10-29
Publication date: 2015-05-07

Abstract

【課題】色差信号に変換可能な画像信号を画素を間引いた色差信号に変換する処理において、画素数を間引く事による折り返し歪みの発生を抑え、色差信号生成のフィルタに除算を用いず演算の効率化を行う画像処理方法を提供する。【解決手段】色差信号に変換可能な画像信号を入力として、画素を間引いた色差信号に変換する画像処理において、重み係数を予め調整しておき、フィルタの出力値が除算計算を行わなくても一定値に収まるようにする色差信号処理方法。【選択図】図５

Description

本発明は、色差信号に変換できる高解像度の画像信号の画素数を間引き、再サンプリングによる折り返し歪みを発生させず静止画、動画に兼用できる画像処理方法に関する。

高解像度の静止画像は画素数に従いサイズが大きくなり、高解像度動画の画像信号は非常に広い帯域幅も必要とする欠点が有る。

特に動画においては非常に広い帯域幅は記憶の際の記憶装置の容量を大量に必要とする欠点もある。

改善策として、ビニング処理があるが解像度低下、ビニング処理による画素数変換により新たな画素数によるサンプリング周波数が発生し折り返し歪みが発生するなどの問題が発生する。図６。

この改善策として特許第４３７７４２８号のようにビニングの範囲をオーバーラップさせた考案があるが、特許第４３７７４２８号は色差信号に関する特許請求項３を実施すると分母が零となり請求項３が成り立たない。

特許第４３７７４２８号

なし

解決しようとする問題点は、特許第４３７７４２８号の請求項３の記載
行及び列方向に格子状に配列され _、受光量に応じたアナログ信号を出力する複数の光電変換素子と _、
前記複数の光電変換素子から出力されたアナログ信号を _、デジタル信号に量子化して出力するA/D変換部とを備え _、
前記複数の光電変換素子には _、夫々 _、異なる色成分の光を透過するカラーフィルタが備えられて _、該複数のカラーフィルタが _、 R(赤) _、 G(緑) _、 B(青)3原色のベイヤー (Bayer)配列で構成されて _、複数色を1単位として周期的に配列され _、
前記A/D変換部を介して出力された複数のデジタル信号を _、所定のサンプリング位置で異なる所定の比率RGBのうちの複数色で混合し _、前記光電変換素子の数より少ない信号の数にして _、輝度信号Y _、色差信号C1 _、 C2からなる配列で出力する信号出力部を備え _、
前記信号出力部が _、前記A/D変換部を介して出力された複数のデジタル信号において
複数の行及び複数の列からなる所定の方形領域ごとに _、当該所定の方形領域内の複数の画素値を参照し _、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算しその除算値を1つの画素値として出力するように構成され _、
前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が _、行方向及び列方向のいずれの方向に関しても等間隔となり _、且つ _、行方向の間隔と列方向の間隔とが同じになるように配列されていることを特徴とする固体撮像素子 _。

この中でそれぞれの重み係数を乗算した値の和を重み係数の合計値で除算するとの記載がありますが特許第４３７７４２８号の図４からＣ１フィルタの重み係数の和は
（−１）＋（２）＋（−２）＋（２）＋（−１）＋（２）＋（−４）＋（４）＋（−４）＋２＋（−２）＋（４）＋（−４）＋（４）＋（−２）＋（２）＋（−４）＋（４）＋（−４）＋２＋（−１）＋（２）＋（−２）＋（２）＋（−１）＝０
Ｃ２フィルタの重み係数の和は
（１）＋（２）＋（１）＋（−４）＋（−４）＋（２）＋（４）＋（２）＋（−４）＋（−４）＋（１）＋（２）＋（１）＝０
となり除算した解は不定になり実施できない。

重み係数による除数は出力のレンジを規定しているだけなので、実装上の重要ではない。例えば8bitのbit列で出力されるとして、それが整数値で0〜255を意味しているのか、固定小数0〜.996(=255/256)を意味しているのか、あるいは固定小数0〜31.875(=255/8)と意味しているかは、解釈の都合による。

本考案では色差が無彩色０を中心として正負の値を取ることを考慮し、さらにフィルタの重み係数をあらかじめ調整しY フィルタの和を1.0とすることを特徴とし、C1およびC2 フィルタの正の重み係数の和と、負の重み係数の和の絶対値が同一であり、なおかつその値が1.0ないし0.5であることを特徴としている。

本発明で５Ｍｐｉｘベイヤ配列６０ｆｐｓの映像信号を２Ｍｐｉｘ３０ｆｐｓ色差信号に変換すると、
ベイヤ出力１２ｂｉｔＸ５ＭｐｉｘＸ６０ｆｐｓ＝３．６Ｇｂｐｓ
色差信号１６ｂｉｔＸ２ＭｐｉｘＸ３０ｆｐｓ＝０．９６Ｇｂｐｓ
このように帯域幅を圧縮できる。

また再サンプリング周波数はビニング範囲のオーバーラップによりローパスフィルター効果が生まれて再サンプリングの周波数での折り返し歪みは発生せず元の信号源のサンプリング周波数であるため、元画像のサンプリング周波数での折り返し歪み除去はそのまま有効となり、解像度も低下しない利点がある。図７。

図１はベイヤ配列図面。図１ベイヤ配列図面からYの切り出し範囲と係数の実施方法を示した図面。図１ベイヤ配列図面からC１の切り出し範囲と係数の実施方法を示した図面。図１ベイヤ配列図面からC2の切り出し範囲と係数の実施方法を示した図面。図１ベイヤ配列図面にY,C1、C2のオーバーラップした切り出し範囲を表示しオーバーラック部分を示した図面。単純なビニング処理により画素数を１／４に変換した画像の解像度を示す画像。本校案における処理を実施し画素数を１／４に変換した画像の解像を示す画像。単純なビニング処理により画素数を１／４に変換した画像で格子画像に歪みが発生している画像。本校案における処理を実施し画素数を１／４に変換した画像であり格子画像が再現されている画像。

色差信号に変換できる画像信号をビニングし画素低減、帯域圧縮を行う際オーバーラップ部分を設定し、このオーバーラップ部分の折り返し歪み除去効果により、ビニングにより発生する折り返し歪みを除去し入力信号の解像度を維持したまま帯域を圧縮する。

ホワイトバランス、Max Clip等が行われたベイヤ入力信号図１を422に間引いたY、C1、C2に圧縮するには図５のようにY、C1、C2のビニング範囲を設定しビニング範囲内のRGBはビニング範囲の中心からの距離と下記式によりフィルタをかける。
Yは３ｘ３の範囲で中心からの距離で重み付けされる。
C1,C2は５ｘ５の範囲で中心からの距離により重み付けされ色差信号生成のため下記式を適用する
C1＝Gr+Gb-R-B
C2=R-B
中心からの重み付けの係数としてC1およびC2 フィルタの正の重み係数の和と、負の重み係数の和の絶対値が同一であり、なおかつその値が1.0となるように設定するのは、重み付けの高速化のため割られる数が浮動小数点数であっても整数であっても、２進数の2^n
での割り算は、「足し算」「ビットシフト」「ビット反転」だけで表せる事を利用し母数は2^nとするためである。結果は図２、図３、図4。

実装上のY、C1、C2変換は下記となる
Y = (4R + 8G + 4B) / 16 = R/4 + G/2
+ B/4
C1 = ( -16R +32G -16B) / 64= -R/4 + G/2 - B/4
C2 = (16R - 16B) / 32 = R/2 - B/2
上記色差信号からRGBに変換するには
Y、C1、C2 to RGB変換
R = Y - C1 + C2 = R/4 + G/2 + B/4-( -R/4 + G/2 - B/4)+( R/2 - B/2)
G = Y + C1= R/4 + G/2 + B/4+( -R/4 + G/2 - B/4)
B = Y - C1 - C2 = R/4 + G/2 + B/4-( -R/4 + G/2 - B/4)-( R/2 - B/2)
この処理により得られた画像が図７となり画素数は１／４となっているが解像度劣化が発生しない。

n/16の係数の乗加算はu0.12の入力に対し、小数点のシフトを行い積はs0.16にして積算する、等のビットシフトを用いた実装のため通常の除算に対し除算を行わないため非常に効率がよい。
このように、帯域を圧縮しながら元となる信号の解像度を維持したままの色差信号を生成しうる。

高解像度センサーを用い高解像画像を得た場合、解像度はサンプリング周波数の１／２の折り返し歪みの影響を受ける。
本稿案では画素を間引くが元映像信号の解像度を維持し、間引いて生成された画像は元の解像度のまま出力されるため、元画像に比べ低画素で有りながら解像度を維持した画像が得られる。これは処理上の仕様帯域低減と記憶容量の低下をもたらすため画像保存容量が非常に小さくなる。
特に、動画では同解像度を得ながら帯域の低減と記憶容量の低減を行えるため非常に有用な技術となる。

１−１、１−２ C1
２−１、２−１ C2
３−１、３−２、３−３、３−４ Y
４オーバーラップ範囲

Claims

「Y フィルタの重み係数の和を1.0とすることを特徴とする」「C1およびC2 フィルタの正の重み係数の和と、負の重み係数の和の絶対値が同一となることを特徴とする」色差信号処理方法。
「Y フィルタの重み係数の和を1.0とすることを特徴とする」「C1およびC2 フィルタの正の重み係数の和と、負の重み係数の和の絶対値が同一であり、なおかつその値が1.0から0.5であることを特徴とする」色差信号処理方法。