JP2023081416A

JP2023081416A - 画像信号処理方法

Info

Publication number: JP2023081416A
Application number: JP2021195063A
Authority: JP
Inventors: 祐樹宮原; Yuki Miyahara
Original assignee: Sigma Corp
Current assignee: Sigma Corp
Priority date: 2021-12-01
Filing date: 2021-12-01
Publication date: 2023-06-13

Abstract

【課題】色ノイズの原因となりうる高周波成分を取り除くことでノイズを低減する画像信号処理方法を提供する【解決手段】画像信号処理方法は、補正対象となる１色の画像信号を決定する画像信号を決定し、前記補正対象以外の２色の画像信号の線形和を計算し、前記補正対象の画像信号から線形和を減算し、減算計算結果から低周波成分を抽出し、前記減算計算結果から前記低周波抽出部を通過した画像信号を減算する第２減算と、前記３色の画像信号から色差を計算し、前記色差から関数に基づいて第１係数を決定し、前記第２減算の計算結果に前記色差関数部にて決定した前記第１係数を乗算し、前記乗算結果と任意のパラメータとを比較し、結果と前記パラメータとのいずれかを選択し、選択結果を前記補正対象の画像信号から減算し、減算結果を前記補正対象の画像信号に対する補正後の画像信号とする。【選択図】図２

Description

本発明は、色ノイズ低減する画像信号処理方法に関するものである。

近年、画像データにおいて色に関するノイズである色ノイズを低減するための画像信号処理方法が提言されている。

色ノイズとは、画像データに本来存在しないはずの色情報が、何らかの理由で含まれることで発生するノイズである。

よって、この色ノイズを含んだ画像データをデジカメの背面液晶画面やモニター画面上や紙媒体などに出力すると、本来存在しない色情報が画像信号として表示されるため、撮影者に違和感を与える。

特許文献１は、ホワイトバランス補正がなされた画像データにおいては、画素毎に色差データを算出し、色差データが第１の色差範囲にあり、輝度が指定された輝度範囲にある画素の画像データには、その画素の色差データが小さくなるように色ノイズ低減処理が行われるということが開示されている。

特許第５４６０２０２号公報

しかしながら、特許文献１にて開示されている画像処理装置は、上述したように色差データが小さくなるように色ノイズ低減処理を行うことで色差がなくなるという課題を有する。

つまり、色ノイズ低減処理を行った画像の色差がなくなるということは無彩色化してしまうという課題を有する。

さらには、画像信号の各色は高周波ノイズ成分を含んでおり、高周波ノイズは単色の孤立した色ノイズを発生させるという課題を有する。

そのため、孤立した色ノイズを抑えるために、ローパスフィルタなどを適用すると色ノイズは周囲に広がりを持つ色ノイズと成り得るという課題を有する。

本発明はこのような状況に鑑みてなされたものであり、色ノイズの原因となる高周波成分を取り除くことでノイズを低減する画像信号処理方法を提供することを目的とする。

上記課題を解決するための手段である第１の発明は、３色の画像信号を処理する画像信号処理方法において、補正対象となる１色の画像信号を決定する画像信号決定部と、前記補正対象以外の２色の画像信号の線形和を計算する線形和計算部と、前記補正対象の画像信号から前記線形和計算部の計算した線形和を減算する第１減算部と、前記第１減算部の計算結果から低周波成分を抽出する低周波抽出部と、前記第１減算部の計算結果から前記低周波抽出部を通過した画像信号を減算する第２減算部と、前記３色の画像信号から色差を計算し、前記色差から関数に基づいて第１係数を決定する色差関数部と、前記第２減算部の計算結果に前記色差関数部にて決定した前記第１係数を乗算する乗算部と、前記乗算部の計算結果と任意のパラメータとを比較し、前記計算結果と前記パラメータとのいずれかを選択する閾値比較選択部と、前記閾値比較部の選択結果を前記補正対象の画像信号から減算するノイズ除去部とを有し、前記ノイズ除去部の計算結果を前記補正対象の画像信号に対する補正後の画像信号とすることを特徴とする。

また、上述の課題を解決するための手段である第２の発明は、第１の発明に記載の画像信号処理方法であって、前記色差関数部は、前記３色の画像信号から２色の画像信号を用いて複数の色差を計算し、前記複数の色差から関数に基づいて各係数を決定し、前記各係数の線形和、最大値、最小値または中央値のいずれかの方法で第１係数を決定することを特徴とする。

本発明によれば、色ノイズの原因となる高周波成分を取り除くことでノイズを低減する画像信号処理方法を提供することができる。

本発明の実施例に係る固体撮像装置の構成を示すブロック図本発明の実施例に係るノイズリダクションを行う際のフローチャート

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

本実施例において、１００はレンズ鏡筒、１０１は固体撮像素子、１０１１はマイクロレンズ、１０１２は光電変換部、１０１３は配線部、１０２はＣＰＵ、１０２１は画像信号決定部、１０２２は線形和計算部、１０２３は第１減算部、１０２４は低周波抽出部、１０２５は第２減算部、１０２６は色差関数部、１０２７は乗算部、１０２８は閾値比較選択部とする。

図１は、本実施例の撮像装置の構成を示す構成図である。

撮像装置１０は、レンズ鏡筒１００と不図示のカメラ本体から構成される。

レンズ鏡筒１００は、カメラ本体に脱着可能であり、レンズ鏡筒１００のマウント部とカメラ本体のマウント部とがバヨネット機構などにより接続される。尚、レンズ鏡筒１００は、カメラ本体に固定式の物でも構わない。

固体撮像素子１０１は、マイクロレンズ１０１１と光電変換部１０１２と配線部１０１３などを含む。

マイクロレンズ１０１１は、レンズ鏡筒１００に入射した光束を各光電変換部１０１２が受光に適するように集光するレンズである。

光電変換部１０１２は、マイクロレンズ１０１１を通過した光束を画像信号に変換する。

光電変換部１０１２にて変換された画像信号について説明する。光束を画像信号へ変換する光電変換部１０１２は、各画素に配置される。固体撮像素子１０１がベイヤー型の場合、各画素に配置された光電変換部１０１２からマイクロレンズ１０１１と光電変換部１０１２配置されたカラーフィルタと同色の画像信号へ変換される。カラーフィルタは赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色が用いられることが一般的であり、この時、変換される画像信号は３種類となる。

一方、固体撮像素子１０１が積層型の場合、１画素から光電変換部の積層数分の画像信号が変換される。本願実施例では、１画素から赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色の画像信号を得る為、光電変換部１０１２は３層積層されている。

配線部１０１３は、光電変換部１０１２にて変換された画像信号を各光電変換部１０１２からＣＰＵ１０２へ転送する。

ＣＰＵ１０２は、光電変換部１０１２が変換し配線部１０１３を通じて転送されてきた画像信号に各々の処理を行う。

画像信号決定部１０２１は、光電変換部１０１２が変換し、配線部１０３１を通じて転送された画像信号から補正対象とする画像信号を決定する。

線形和計算部１０２２は、画像信号決定部１０２１が決定した補正対象となる画像信号以外の画像信号において、画像信号から線形和を計算する。具体的な計算方法は後述する。

第１減算部１０２３は、画像信号決定部１０２１にて決定した補正対象画像信号から線形和計算部１０２２にて計算した補正対象以外の画像信号の線形和を減算する。

低周波抽出部１０２４は、第１減算部１０２３にて計算した結果から低周波成分を抽出する。

第２減算部１０２５は、第１減算部１０２３の計算結果から、低周波抽出手段１０２４にて抽出された画像信号を減算する。

色差関数１０２６は、固体撮像素子１０１の光電変換部１０１２が変換した画像信号において、互いの色差を計算し、計算した色差を関数に基づいて係数を戻す。

乗算部１０２７は、第２減算手段１０２５にて計算した結果に、色差関数にて戻された係数を乗算する。

閾値比較選択部１０２８は、乗算部１０２７にて計算した結果と任意のパラメータとを比較し、適切な値を選択する。

ノイズ除去部１０２９は、閾値比較選択部１０２８にて選択した適切な値を、画像信号決定部１０２１にて決定した補正対象の画像信号から減算する。計算結果を補正画像信号とする。

次に、本発明における画像信号処理方法について、図２のフローチャートを用いて実施例を説明する。

図１に示すようにレンズ鏡筒１００を通過した光束は、固体撮像素子１０１へ届き、マイクロレンズ１０１１を経て光電変換部１０１２へ導かれた後、画像信号へ変換される。本願実施例に用いられる固体撮像素子１０１は、１画素に３層の光電変換部１０１２が積層される。従って、１画素から３種類の画像信号が変換される。

ステップ＃１では、固体撮像素子１０１の光電変換部１０１２にて変換された３種類の画像信号の中から、画像信号決定部１０２１が補正対象となる画像信号を決定する。

ステップ＃２では、ステップ＃１にて画像信号決定部１０２１が決定した補正対象となる画像信号以外の２種類の画像信号を用いて、線形和計算部１０２２は線形和を計算する。

ステップ＃３では、第１減算部１０２３はステップ＃１にて画像信号決定部１０２１が決定した補正対象となる画像信号から、ステップ＃２にて線形和計算部１０２２が計算した線形和を減算する。この減算結果を第１減算結果とする。

ステップ＃４では、低周波抽出部１０２４がステップ＃３の第１減算部１０２３の計算した結果をリサイズすることで低周波成分を抽出する。尚、低周波成分を抽出することが出来れば、リサイズ以外にも、ローパスフィルタでも問題ない。

ステップ＃５では、第２減算部１０２５がステップ＃４にて抽出した低周波成分をステップ＃３の計算結果である第１減算結果から減算する。その結果、高周波成分を抽出することが可能となる。

ステップ＃６では、色差関数部１０２６が光電変換部１０１２にて変換した３種類の画像信号を用いて、互いの色差を計算する。さらに、計算した色差から関数に基づいて係数を戻す。

ステップ＃７では、乗算部１０２７がステップ＃５にて計算した結果にステップ＃６にて決定した係数を乗算する。

ステップ＃８では、閾値比較選択部１０２８がステップ＃７にて計算した結果とパラメータとを比較する。

ステップ＃９では、ノイズ除去部１０２９がステップ＃１にて決定した補正対象の画像信号からステップ＃８にて選択した比較結果を減算する。

ステップ＃９にて計算した結果は、ステップ＃１にて補正対象の画像信号からノイズ除去を行った補正後の画像信号となる。

以下に、上記各ステップで行った計算を具体的に説明する。

本実施例では、光電変換部１０１２の変換した画像信号のうち、緑色（Ｇ）を補正対象の画像信号として、具体的に補正方法を説明する。

補正対象の画像信号を緑色（Ｇ）としているので、ステップ＃１で画像信号決定部１０２１は、緑色（Ｇ）を補正対象の画像信号となる。

次に、ステップ＃２では、補正対象の画像信号である緑色（Ｇ）以外の画像信号である赤色（Ｒ）と青色（Ｂ）を用いて、線形和計算部１０２２が線形和を計算する。

実施例の線形和計算部１０２２が行う具体的な計算方法を示す。

赤色（Ｒ）と青色（Ｂ）の画像信号をそれぞれＲとＢとし、係数をαとすると線形和は以下のように表せる。
線形和：α＊Ｒ＋（１－α）Ｂ（０＜α＜１）

次に、ステップ＃３で第１減算部１０２３の計算を説明する。光電変換部１０１２の変換した緑色（Ｇ）の画像信号をＧとし、計算後の緑色（Ｇ）をＧ１とすると、以下の式となる。
Ｇ１＝Ｇ－（α＊Ｒ＋（１－α）Ｂ）（０＜α＜１）

ステップ＃４では、ステップ＃３にて計算したＧ１から低周波成分を抽出する。具体的には、計算後の緑色（Ｇ）であるＧ１に対して縮小処理を適用し、その後元のサイズに拡大所謂リサイズすることで低周波化した画像信号Ｇ２を作成する。また、ローパスフィルタを適用することで画像信号Ｇ２を作成してもよい。

ステップ＃５では、ステップ＃４にて計算したＧ１からステップ＃４にて抽出した低周波化した画像信号Ｇ２を減算する。Ｇ１から低周波化した画像信号Ｇ２を減算することで、高周波成分のみを抽出することが可能となる。高周波成分のみを抽出した画像信号を画像信号Ｇ３とする。その結果、マゼンタノイズが低減される。

ステップ＃６では、（Ｒ－Ｇ）、（Ｇ－Ｂ）、（Ｂ－Ｒ）の色差を求める。次に、色差（Ｒ－Ｇ）であれば、ガウス関数にてｅｘｐ（－ａ＊（Ｒ－Ｇ）＾２）として係数ｆ１が求まる。他の（Ｇ－Ｂ）、（Ｂ－Ｒ）の色差に対しても同様にガウス関数から係数ｆ２とｆ３が求まる。各色差から求めた係数ｆ１～ｆ３を用いて係数ｆが決定する。

係数ｆ１～ｆ３から係数ｆを決定するには様々な方法がある。例えばｆ１～ｆ３の線形和でもよいし、最大値、最小値または中央値としてもよい。また、それらの方法を画像に含まれるノイズの状態に応じて使い分けてもよい。

また、ステップ＃６では、３種類すべての色差を用いることで画像信号を精度よく補正することが可能となる。一方、ＹＣｂＣｒのＣｂＣｒに該当する（Ｒ－Ｇ）、（Ｇ－Ｂ）の色差からガウス関数を用いて係数ｆ１とｆ２を求め。これらを用いて前述したように係数ｆを決定することも可能である。その場合、計算量を減らすことが可能である。

ステップ＃７では、ステップ＃５にて抽出した画像信号Ｇ３にステップ＃６にて計算した係数ｆを乗算する。乗算結果をＧ４とする。

ステップ＃８では、乗算結果Ｇ４とパラメータとを比較する。具体的に説明すると、乗算結果Ｇ４が－ＴｈＭｉｎ～＋ＴｈＭａｘの範囲に収まるようにクリップする。クリップした値をＧ５とすると、Ｇ５＝Ｍｉｎ（＋ＴｈＭａｘ、Ｍａｘ（－ＴｈＭｉｎ、Ｇ４））となる。

ステップ＃９では、ステップ＃８で求めたクリップしたＧ５を用いてＧ＝Ｇ－Ｇ５とすることでステップ＃１で補正対象とした画像信号は、色ノイズ成分を除いた画像信号とすることが可能となる。

また、本願実施例のステップ＃６は、各色差にガウス関数を適用することで係数を求めた。しかし、ガウス関数以外にも画像信号差である色差が大きくなるほど減衰する特性がある関数であれば適用することが可能である。一例として、ｅｘｐ（－ａ＊｜Ｒ－Ｇ｜＾ｂ）やａ／（｜Ｒ－Ｇ｜＾ｂ＋１）を用いることが可能である。（但し、｜Ｘ｜はＸの絶対値、ｂ＞０とする。）

尚、高周波色ノイズのうち、特に高ＩＳＯになると目立つのは、緑／マゼンタノイズである。この緑／マゼンタノイズの大きな原因として、緑色（Ｇ）の高周波が他の赤色（Ｒ）や青色（Ｂ）と比較して独立的にふるまっている点が挙げられる。そこで、Ｇの独立的成分をＧ１＝Ｇ－（α＊Ｒ＋（１－α）Ｂ）（０＜α＜１）と仮定し、高周波成分のみを抽出することで緑／マゼンタノイズを低減することが可能となる。さらに、これだけでは元画像にあった色パターンの破壊（色滲み、色ディティール損失）などが避けられないため、ステップ＃６にて色差に基づいた強度調整を、ステップ＃７にて閾値の設定を行ったうえでノイズリダクションを行った。

また、これまでの実施例では、固体撮像素子１０１は、積層型を想定していたが、１画素に１種類の画像信号を有するベイヤー型の固体撮像素子を用いてもかまわない。

積層型の固体撮像素子である場合、同一の位置の信号を取得出来る為、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。また、色が混色しているセンサの場合、他の色信号にも対象信号の高周波情報が含まれるため、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。

また、ベイヤー型の固体撮像素子では、１画素から１種類の画像信号しか得ることができない。そこで、他の２種類の画像信号については、周辺の画素より補間することで得ることができる。本願発明にて、ベイヤー型の固体撮像素子を用いる場合、補間処理にて１画素の画像信号を３種類の状態にしてから、ステップ＃１の補正対象となる画像信号を決定することで、以後の処理は積層型の固体撮像素子を用いる場合と同様とすることが可能である。

１０撮像装置
１００レンズ鏡筒
１０１固体撮像素子
１０１１マイクロレンズ
１０１２光電変換部
１０１３配線層
１０２ＣＰＵ
１０２１画像信号決定部
１０２２線形和計算部
１０２３第１減算部
１０２４低周波抽出部
１０２５第２減算部
１０２６色差関数部
１０２７乗算部
１０２８閾値比較選択部
１０２９ノイズ除去部

Claims

３色の画像信号を処理する画像信号処理方法において、
補正対象となる１色の画像信号を決定する画像信号決定部と、
前記補正対象以外の２色の画像信号の線形和を計算する線形和計算部と、
前記補正対象の画像信号から前記線形和計算部の計算した線形和を減算する第１減算部と、
前記第１減算部の計算結果から低周波成分を抽出する低周波抽出部と、
前記第１減算部の計算結果から前記低周波抽出部を通過した画像信号を減算する第２減算部と、
前記３色の画像信号から色差を計算し、前記色差から関数に基づいて第１係数を決定する色差関数部と、
前記第２減算部の計算結果に前記色差関数部にて決定した前記第１係数を乗算する乗算部と、
前記乗算部の計算結果と任意のパラメータとを比較し、前記計算結果と前記パラメータとのいずれかを選択する閾値比較選択部と、
前記閾値比較部の選択結果を前記補正対象の画像信号から減算するノイズ除去部とを有し、
前記ノイズ除去部の計算結果を前記補正対象の画像信号に対する補正後の画像信号とすることを特徴とすることを画像信号処理方法。
前記色差関数部は、前記３色の画像信号から２色の画像信号を用いて複数の色差を計算し、前記複数の色差から関数に基づいて各係数を決定し、前記各係数の線形和、最大値、最小値または中央値のいずれかの方法で第１係数を決定することを特徴とする請求項１に記載の画像信号処理方法。