JP2002150282A - 画像処理装置及びその方法、並びにプログラム記録媒体 - Google Patents
画像処理装置及びその方法、並びにプログラム記録媒体Info
- Publication number
- JP2002150282A JP2002150282A JP2000344494A JP2000344494A JP2002150282A JP 2002150282 A JP2002150282 A JP 2002150282A JP 2000344494 A JP2000344494 A JP 2000344494A JP 2000344494 A JP2000344494 A JP 2000344494A JP 2002150282 A JP2002150282 A JP 2002150282A
- Authority
- JP
- Japan
- Prior art keywords
- color
- color signal
- image processing
- signal
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 24
- 230000000903 blocking effect Effects 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 description 44
- 238000004364 calculation method Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 8
- 238000001444 catalytic combustion detection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000010755 BS 2869 Class G Substances 0.000 description 1
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100024693 Death effector domain-containing protein Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000830359 Homo sapiens Death effector domain-containing protein Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 101001106432 Homo sapiens Rod outer segment membrane protein 1 Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 102100021424 Rod outer segment membrane protein 1 Human genes 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
のノイズ除去を行うことができる。 【解決手段】 画像処理装置は、入力画像信号を所定の
大きさの画素ブロックにブロック化するブロック化回路
10と、一の色信号について、当該一の色信号の同画素
位置近傍の他の色信号から疑似色信号を生成する色変換
回路30と、一の色信号と色変換回路30が生成した疑
似色信号とを合成して一の色信号を新たに生成する加算
回路40とを備える。
Description
像処理装置及びその方法、並びに画像処理のためのプロ
グラムが記録されているプログラム記録媒体に関し、詳
しくは、カラー画像において各色に発生するノイズの除
去のためのものであって、そのノイズが各色でランダム
で発生している場合に好適な画像処理装置及びその方
法、並びにプログラム記憶媒体に関する。
を除去する技術がある。ノイズ除去の技術としては、空
間方向にフィルターをかけて、画像をぼかしてノイズを
除去したり、時間方向のデータを利用して、静止部分の
足し合わせることによりノイズ除去する手法が提案され
ている。
フィルターをかけて、画像をぼかすことによりノイズを
除去する手法については、ノイズは目立たなくなるが、
画像はぼけてしまうといった問題が生じてしまう。
部分の足し合わせによってノイズを除去する手法につい
ては、静止画を撮る場合、時間方向にデータを保持する
ためのメモリが必要になってくる。さらに、動物体の画
像についてノイズ除去を行う場合には、足し合わせるた
めの部分を探すための動き検出処理等の複雑な処理が必
要になってくる。
されたものであり、複雑な処理等を要することなく、適
切に画像のノイズ除去を行うことができる画像処理装置
及びその方法並びにプログラム記録媒体を提供すること
を目的としている。
置は、上述の課題を解決するために、一の色信号につい
て、当該一の色信号の同画素位置近傍の他の色信号から
疑似色信号を生成する色生成手段と、一の色信号と色生
成手段が生成した疑似色信号とを合成して一の色信号を
新たに生成する色合成手段とを備える。
一の色信号について、当該一の色信号の同画素位置近傍
の他の色信号から疑似色信号を色生成手段により生成
し、一の色信号と色生成手段が生成した疑似色信号とを
合成して一の色信号を色合成手段により新たに生成す
る。これにより、画像処理装置は、各色信号間に独立し
て発生するノイズ成分を除去する。
の課題を解決するために、一の色信号について、当該一
の色信号の同画素位置近傍の他の色信号から疑似色信号
を生成する色生成工程と、一の色信号と色生成工程にて
生成した疑似色信号とを合成して一の色信号を新たに生
成する色合成工程とを有する。これにより、画像処理方
法は、各色信号間に独立して発生するノイズ成分を除去
する。
は、一の色信号について、当該一の色信号の同画素位置
近傍の他の色信号から疑似色信号を生成する色生成工程
と、一の色信号と色生成工程にて生成した疑似色信号と
を合成して一の色信号を新たに生成する色合成工程とを
画像処理装置に実行させるプログラムが記録されてい
る。このようなプログラム記録媒体に記録されているプ
ログラムにより画像処理を実行する画像処理装置は、各
色信号間に独立して発生するノイズ成分を除去する。
て図面を用いて詳細に説明する。この実施の形態は、本
発明を、画像を処理する画像処理装置に適用したもので
ある。画像処理装置については、第1及び第2の実施の
形態を挙げて説明する。
説明する前に、画像処理の原理について説明する。画像
処理の原理については、以下のようになる。
て行うことを前提としている。具体的には、RGBの色
信号によって画素が構成されている画像についての画像
処理である。
画像の色信号間の相関を利用して、先ず色変換を行って
いる。さらに、画像処理では、その色変換により得た色
信号を本来の色に加えることで、ノイズの除去或いは低
減(以下、単に除去という。)を実現している。ここ
で、カラー画像の各色信号において発生するノイズは、
それぞれ相関のないランダムなノイズであることが前提
とされている。以下、ノイズ除去のために行う色変換及
び色の加算等の処理について、その原理を説明する。
として、R(赤色)を変換して、R(赤色)からG(緑
色)を生成する場合について説明する。
いて先ず考える。例えば、所定の画素ブロックは、図1
中(A)又は(B)に示すように、画像中における3×
3の画素ブロックであるとする。そして、このような3
×3(3行3列)の画素ブロック内の各画素は、それぞ
れが色信号として把握されるものであり、すなわち、各
画素は、図2中(A)に示すように、Rの色信号につい
ては、R0〜R8(R i:i=0〜8の整数)の値をも
っており、また、Gの色信号については、図2中(B)
に示すように、G0〜G8(Gi:i=0〜8の整数)
の値をもっており、また、図2中(C)に示すように、
Bの色信号については、B0〜B8(B i:i=0〜8
の整数)の値をもっている。
る各色信号の変化について考えてみる。例えば、画素ブ
ロック内における値の最小値をMINとおき、そのダイ
ナミックレンジDRを最大値−MINとおいて、(1)
式によりRiの変換後のriの得て、また、(2)式に
よりGiの変換後のgiの値を得て、また、(3)式に
よりBiの変換後のbiの値を得る。
ック内の画素のR、G、Bの色信号それぞれの最小値で
あり、DRR、DRG及びDRBは、そのような画素ブ
ロック内の画素のR、G及びBの色信号についての最小
値と最大値との差分として示されるダイナミックレンジ
DRの値である。なお、ダイナミックレンジDRが0の
場合には、もともとの変化がないので、ri,gi及び
biは0とする。
内の各画素のRの色信号について変換後のr0〜r8を
得ることができ、また、(2)式により画素ブロック内
の各画素のGの色信号について変換後のg0〜g8を得
ることができ、また、(3)式により画素ブロック内の
各画素のBの色信号について変換後のb0〜b8を得る
ことができるが、r0〜r8の変化、g0〜g8の変化
及びb0〜b8の変化とは、相関は高く、略同じ値にな
る。
(4)式により、一の色信号について、他の色信号から
疑似色信号を得ることができる。ここで、(4)式は、
例として、G(一の色信号)について、R(他の色信
号)に基づいて新たな値GR(疑似色信号)が生成され
る場合としている。
なRの画素ブロック内の中心画素を注目画素としたGの
色信号への変換後の値であって、同一位置の画素のR4
に基づいて、それに対応される変換後の値とされる。
替わりに、R4以外の値であるR0,R1,R2,
R3,R5,R6,R7,R8を用いることもできる。
この場合、値GRとして8候補を得ることができるの
で、それらの平均を、生成した値G Rとすることもでき
る。さらに、このような場合には、そのようにして求め
た候補のうち、0≦GR≦255(画素のデータが8bi
tで表される場合)以外のものを除いた平均値を求める
こともできる。
することができる。そして、説明は省略するが、同様
に、Bを変換することにより、疑似色信号としてのGを
生成する、すなわち値GBを生成することもできる。
の色の加算処理では、上述のようにして得た値GR,G
Bを、もとのGの色信号に加算しており、これにより、
ノイズ成分が除去されたものになる。色の加算処理の原
理は次のようになる。
D(Charge Coupled Device)により撮像されることを
前提とする。3板のCCDで撮像した場合には、3板そ
れぞれで得られたRGBの各色信号に発生するノイズ成
分にはその色間において相関はない。このような前提の
下では、上述のようにして求められるR及びBに基づい
て得た値GR及びGBをもとのGの値に加えることによ
り、ノイズ成分が除去されたものとなる。具体的には、
(5)式により、値G’を得ることで、その値G’はノ
イズ成分が除去された色信号になる。
り、次の(1)〜(3)に示すいずれかの手法により最
適値として決定することができる。 (1)3画素平均とし、重み係数wjを1/3にする。 (2)RGBそれぞれについてのホワイトバランス等の
調整時のゲイン量に応じて重み係数wjを変化させる。
すなわち、重み係数wjをゲイン量の関数として決定す
る。例えば、重み係数wjをRGBのゲイン量の関数と
した場合は、上述の(5)式を次の(6)式のように示
すことができる。
場合、riとgiの差やDRRとDRGとの差等の画像
ブロックを単位とした特徴量に基づいてクラス分類をし
て、すなわち画像ブロックのパターン分けをして、予測
式を上述の(5)式として、クラス分類を行う。そし
て、そのようなクラス分類に対応される重み係数wjを
学習により決定する。具体的には、学習では、重み係数
wjを最小自乗法により求める。これについてはクラス
分類適用処理として後で詳述する。
示すように、もとの一の色信号とされるGに他の色信号
を変換して得た当該Gの色信号の疑似信号のGR,GB
を加算することで、ノイズ成分を除去することができる
ようになる。
ズ成分を除去する場合について、その色の変換の処理
と、色の加算の処理について説明した。R,Bの色信号
についても、同様にして、他の色信号を変換して得た色
信号を加算することにより、ノイズ成分を除去すること
ができる。すなわち、一の色信号とされるR或いはGの
色信号について、他の色信号を変換してR或いはGを生
成して、それらの元のR或いはGの色信号に、重み係数
を掛け合わせる。これにより、上述した値G’の色信号
と同様に、ノイズ成分が除去されたR或いはGを得るこ
とができるようになる。
ついて説明した。次に、上述したように画像処理が適用
された、実施の形態とされる画像処理装置について説明
する。ここでは、上述の原理についての説明と同様に、
Gの色信号のノイズ成分を除去する場合の処理について
説明する。
置は、図3に示すように、ブロック化回路10、MIN
及びDR検出回路20、色変換回路30及び加算回路4
0を備えている。
ブロック化回路10は、入力画像信号を所定の大きさの
画素ブロックにブロック化するブロック化手段を構成
し、色変換回路30は、一の色信号について、当該一の
色信号の同画素位置近傍の他の色信号から疑似色信号を
生成する色生成手段を構成し、加算回路40は、一の色
信号と色変換回路30が生成した疑似色信号とを合成し
て一の色信号を新たに生成する色合成手段を構成する。
そして、MIN及びDR検出回路20は、上述のMIN
及びDRを生成する。以下、各構成部について具体的に
説明する。
定の大きさの画素ブロックにブロック化する部分であ
る。このブロック化回路10は、具体的には、図4に示
すように、ブロック切り出し部11及びブロック切り出
し部12を備えている。このような構成は、一の色信号
とされるGの色信号を他の色信号とされるRの色信号か
ら求める場合に対応している。
信号画像中の、Rの色信号について所定の画素ブロック
を切り出す。R用のブロック切り出し部11は、例えば
3×3の画素ブロックとしての切り出しを行う。そし
て、R用のブロック切り出し部11により切り出された
画素ブロックは、MIN及びDR検出回路20を構成す
るMINR及びDRR検出部21に出力される。同様
に、G用のブロック切り出し部12では、入力画像信号
中の、Gの色信号について所定の画素ブロックを切り出
す。G用のブロック切り出し部12は、上述のR用のブ
ロック切り出し部11に合わせて画素ブロックの切り出
し、すなわち3×3の画素ブロックとしての切り出しを
行う。そして、G用のブロック切り出し部12により切
り出された画素ブロックは、MIN及びDR検出回路2
0を構成するMING及びDRG検出部22に出力され
る。
し部11及びG用のブロック切り出し部12を備えたブ
ロック化回路10は、次々に入力されてくる画像信号に
ついてブロック化を施す。すなわち、ブロック化回路1
0は、図1中(A)から同図中(B)に示すように、入
力画像信号における注目画素の位置を次々に変えながら
ブロック化を施す。これにより、後段の処理では、この
ように次々にブロック化して得た画素ブロックについ
て、中心画素(i=4の画素)についての色変換等がな
されていくようになる。
のブロック切り出し部11から出力されてきた3×3の
画素ブロック内におけるRについての最小値MINR及
びダイナミックレンジDRRを検出する。そして、MI
NR及びDRR検出部21は、検出した最小値MINR
及びダイナミックレンジDRRを色変換回路30に出力
する。
は、G用のブロック切り出し部12から出力されてきた
3×3の画素ブロック内におけるGについての最小値M
ING及びダイナミックレンジDRGを検出する。そし
て、MING及びDRG検出部22は、検出した最小値
MING及びダイナミックレンジDRGを色変換回路3
0に出力する。
る。この色変換部30は、色変換されたGを得るための
構成として、具体的には図4に示すような演算部31を
備えている。
した演算を行い、Rの色信号を変換して値GRを得る。
この演算部31は、このように上述の(4)式に従って
値G Rを得ることもできるが、これに限定されるもので
はない。上述したように、値GRについては、複数の処
理で演算したGの平均値等を代表値として得ることもで
きる。図5には、そのような平均値により値を得る場合
の一連の処理を示している。ここでは、GRを代表値と
して求める場合を例に挙げて説明する。なお、ここで
は、一つおきの画素番号の色信号の値を使用して、平均
値を得る場合としている。
する。具体的には、変数i,n,sumの初期値として
i=1、n=0、sum=0を設定する。そして、ステ
ップS2において、(7)式によりxを算出する。
おいて、0≦x≦255になるか否かを判別する。ステ
ップS5において、求めたxが0≦x≦255である場
合には、ステップS4に進み、x<0若しくはx>25
5である場合には、ステップS4を超えてさらに先のス
テップS5に進む。ステップS4において、 n=n+1及びsum=sum+x にする。そして、ステップS5において、 i=i+2 にする。これにより、1つおきの画素位置の値が選択さ
れるようになる。そして、ステップS6において、iの
値がi>7になっているか否かを判別する。i>7であ
る場合は、画素ブロック内の画素を使用した計算が終了
している場合であり、ステップS7に進む。一方、i>
7でない場合は、未だ画素ブロック内の画素を使用した
計算が終了していない場合であり、ステップS2からの
処理を再び開始する。
し、n>0である場合には、ステップS8において、 GR=sum/n を得て、一方、n>0でない場合、すなわちステップS
2において得たxの値が全てx<0若しくはx>255
であった場合には、画素ブロック内のGの色信号につい
ての最小値MINGを得る。
>255であった場合にGの色信号の最小値MINGと
することに限定されるものではなく、他の値を用いるこ
ともできる。要は、この場合、GRは、計算が破綻しな
いような値であれば良く、すなわち例えば画素ブロック
内のGi(i=0〜8)の平均値であっても良い。
Rの色信号を変換して値GRを得ることができる。色変
換回路30は、このようにRの色信号を変換して値GR
を得る色演算部31を有しており、同様に、Bの色信号
からGの色信号のGBを得る色演算部を有している。B
の色信号からGBを得る色演算部については説明しない
が、上述したRを変換してGRを得る手順のようにRに
着目して示した手順を、Bに着目した手順に置き換える
ことにより、BからGBを得ることができる。
を変換してGRが得られ、Bを変換してGBが得られ
る。そして、これらの値GR,GBは、図3に示すよう
に、加算回路40に入力される。
数とに基づいて値G’を得る。すなわち、この加算回路
40は、上述の(5)式の演算処理により加算後の値
G’を得る。この(5)式を実現する構成として、色変
換回路30は、図6に示すように、第1乃至第3の乗算
部41,42,43及び加算部44を備えている。
得られた値GRは、第1の乗算部41にて重み係数w2
が乗算されて、加算部44に出力される。同様に、Bの
色信号を変換する色変換部32により得られた値G
Bは、第3の乗算部43にて重み係数w3が乗算され
て、加算部44に出力される。また、第2の乗算部42
には、もとのGの色信号が入力されており、第2の乗算
部42は、このGに重み係数w1を乗算して、加算部4
4に出力する。
1,42,43から重み係数がそれぞれ掛け合わされて
きた値を加算する。すなわち、加算部44によって、上
述の(5)式の演算が最終的に実現されている。
2,3)は、上述したように、(1)3画素平均とし、
重み係数wjを1/3にする、(2)RGBそれぞれの
ゲイン量に応じて重み係数wjを変化させる、(3)ク
ラス分類適応処理により重み係数wjを決定する、等と
されている。
wjによる演算が実現するための具体的な構成について
説明する。また、(3)により決定される重み係数wj
による処理については、後で詳述する。(2)を実現す
るために、具体的には、図7に示すように構成する。
52,53それぞれから出力されたRGBの各色信号
は、後段の各A/D部61,62,63にて、デジタル
変換される。そして、A/D部61,62,63から出
力された各色信号は、第1乃至第3のホワイトバランス
部71,72,73においてホワイトバランスが調整さ
れる。また、第1乃至第3のホワイトバランス部71,
72,73におけるゲイン(gain)はそれぞれ、後述す
る対応される第1乃至第3の各乗算部41,42,43
に出力される。
ホワイトバランス部71,72,73が書かれている
が、1つのホワイトバランス部において、各色信号のホ
ワイトバランス調整ができることはいうまでもない。
れたRの色信号及び第2のホワイトバランス部72から
出力されたGの色信号は、第1の色変換部31に入力さ
れる。第1の色変換部31は、上述した図4及び図6に
示した色変換部31であり、このR及びGの色信号に基
づいて値GRを得る。そして、この値GRは、第1の乗
算部41に入力される。
ランス部71のゲインに基づいて、重み係数を決定して
いる。すなわち、重み係数はゲインの関数として決定さ
れる。第1の乗算部41は、ゲインに応じて決定した重
み係数w2(gain)と、第1の色変換部31からの値G
Rとを乗算して、その乗算値を後段の加算部44に出力
する。
出力されたBの色信号及び第2のホワイトバランス部7
2から出力されたGの色信号は、第2の色変換部32に
入力される。第2の色変換部32は、上述した図6に示
した色変換部32であり、このB及びGに基づいてGB
を得る。そして、このGBは、第3の乗算部43に入力
される。
ランス部73のゲインに基づいて、重み係数を決定して
おり、すなわち、重み係数はゲインの関数として決定さ
れる。第3の乗算部43は、ゲインに応じて決定した重
み係数w3(gain)と、第2の色変換部32からのGB
とを乗算し、その乗算値を後段の加算部44に出力す
る。
イトバランス部72にてホワイトバランス調整されたG
の色信号が入力されており、第2の乗算部42は、第2
のホワイトバランス部72のゲインに基づいて決定され
た重み係数w1(gain)と、色信号のGとを乗算して、
その乗算値を加算部44に出力する。
1,42,43から重み係数がそれぞれ掛け合わされて
きた値を加算する。すなわち、加算部44によって、上
述の(6)式の演算が実現される。
(5)式或いは(6)式に基づいて演算を可能としてお
り、そして、その結果として加算後の値G’を出力して
いる。
は、各色信号に生じたノイズ成分が独立しており、その
ノイズ成分に相関がないことから、上述したような処理
を実行する画像処理装置にて各色信号を元の一の色信号
に加算することにより、ノイズ成分を除去することがで
きるようになる。
いて説明する。第2の実施の形態の画像処理装置は、色
変換や色の加算については基本的には同じであるが、重
み係数を学習(トレーニング)により得ているところで
異なっている。
及び図9に示すように構成されている。図8に示す画像
処理装置についての構成は、重み係数を学習するための
構成であり、特に、特徴量抽出回路80、クラス分類回
路101及び係数演算回路104を備えている。また、
図9に示す画像処理装置の構成は、図8に示したような
構成により学習して取得した重み係数に基づいて、新た
な色信号を得る場合の構成であり、特に特徴量抽出回路
80、クラス分類回路101、予測係数ROM102及
び予測回路103を備えている。
ってなされる重み係数の学習について説明する。
0に示すように、特徴量抽出回路80は、ri演算部8
1、gi演算部82、bi演算部83、ri差分演算部
84、gi差分演算部85、bi差分演算部86及び第
1乃至第3の量子化部87,88,89を備えている。
る画素ブロックを構成する各画素のRGBの各色信号R
i,Gi,Bi、最小値MINR,MING,MINB
及びダイナミックレンジDRR,DRG,DRBが、特
徴量抽出回路80に入力されている。また、色変換回路
30にも同様な値が出力されている。
N及びDR検出回路20からの各値に基づいて、ri演
算部81、gi演算部82及びbi演算部83が、
(8)式〜(10)式により各値ri,gi,biを得
る。
部83のそれぞれ後段にあるri差分演算部84、gi
差分演算部85、bi差分演算部86では、そのように
して得られた各値ri,gi,biに基づいて、(1
1)式〜(13)式により、差分値の各総計値を得る。 Σ|ri−gi| ・・・(11) Σ|gi−bi| ・・・(12) Σ|bi−ri| ・・・(13) そして、ri差分演算部84にて(11)式により得た
値は、第1の量子化部87において量子化され、また、
gi差分演算部85にて(12)式により得た値は、第
2の量子化部88において量子化され、また、bi差分
演算部86にて(13)式により得た値は、第3の量子
化部89において量子化される。
0にて特徴量が得られる。この特徴量抽出回路80から
の特徴量は、図8に示すクラス分類回路101に入力さ
れる。
いてクラス分類をする。なお、クラス分類の技術として
は、特開平10-112844号公報等に開示されている技術が
挙げられる。
た結果得られたクラスを表すものとしてインデックスを
出力する。例えば、インデックスは、複数ビット表示に
よりデータであって、各ビット或いは数ビット単位とし
て情報を有するものとされている。このインデックス
は、係数演算回路104に出力される。
される。ここで、予測係数が上述の重み係数であって、
学習結果得られたデータになる。具体的には、係数演算
回路104は、色変換回路30により得た色変換後の値
に基づいて予測係数を得ている。以下に、学習により予
測係数を得る場合の一例について説明する。
したように、値G’は、重み係数w 1〜w3と、G,G
R,GBとの線形1次結合により得られていることを利
用する。
に対して行う。同じクラスに対応してノイズ成分のない
Gの色信号であるG”を用意して、これにより学習を行
う。すなわち、複数のGk”(k=1,2,・・・,
m)を教師データとして、G,GR,GBを学習データ
として、学習を行う。そして、教師データとされる
Gk”が上述の(5)式と同様な関係式により得られる
と推定する。すなわち、G”は、(14)式として示す
ように、各係数w1〜w3とGk1,Gk2,Gk3と
の線形1次結合により得られると推定する。
GR,GBに対応される値である。また、教師に使用す
る画素ブロックの個数をmとするとき、m>3に場合に
は、w1〜w3は一意に定まらないので、誤差ベクトル
eの要素を(15)式として定義する。
は、いわゆる最小自乗法による解法に基づくものであ
る。
数を、(17)式のように求める。
るときに決定されることから、これにより、(18)式
及び(19)式のような、行列を用いると、(20)式
のようになる。
な行列解法を用いて、wiについて解けば、最適値とし
ての予測係数、すなわち学習による重み係数を求めるこ
とができる。
学習によって、予測係数としての重み係数w1〜w3を
得ることができる。このようにして得られた重み係数w
1〜w3は、図9に示す予測係数ROM102に、クラ
ス分類回路101から出力されたインデックスをアドレ
スとして格納される。これにより、予測係数ROM10
2には、クラス分類を示すインデックスに対応されて重
み係数のデータセットw1〜w3が保持されることにな
る。
係数ROM102から対応される予測係数としての重み
係数w1〜w3が出力される。具体的には、次のよう
に、予測係数ROM102から対応される重み係数w1
〜w3が出力される。
10に示すような構成により、(8)式〜(13)式に
より、ブロック化回路10から出力された画素ブロック
の特徴量を抽出する。この特徴量抽出回路80において
抽出された画素ブロックの特徴量は、クラス分類回路1
01に出力される。
ス分類して、対応されるインデックスを予測係数ROM
102に出力する。予測係数ROM102は、クラス分
類回路101からのインデックスに対応される予測係数
とされる重み係数のデータセットw1〜w3を予測回路
103に出力する。
れるインデックスは、このような実際にG’を取得する
場面において、このように予測係数ROM102から特
定の重み係数のデータセットw1〜w3を出力するため
に使用され、一方、学習の場面においては、予測係数R
OM102に学習によって得られた重み係数のデータセ
ットw1〜w3のアドレスとして使用されることにな
る。
〜w3が入力される予測回路103には、色変換回路3
0からのもとの色信号GとR及びBを変換して得られた
値G R,GBも入力されている。この色変換回路30か
ら出力された各値G,GR,GBと、予測係数ROM1
02から出力された重み係数のデータセットw1〜w 3
とは、同一の画素ブロックに基づくものであり、すなわ
ち、特徴量でみた場合にはその特徴量が同一の画素ブロ
ックに基づくものであり、例えば、予測回路103に
は、これらの値が同一のタイミングによって入力されて
くる。
重み係数w1,w2,w3と、色信号G,GR,GBと
を線形1次を計算して、すなわち(5)式の計算を行い
G’を算出する。
w3を学習により求めておき、さらにそのようにして学
習により得た重み係数w1〜w3を用いて、(5)式に
より値G’を得ており、これはいわゆるクラス分類適応
処理と称されるものである。この技術については、特開
平10-112844号公報等に開示されている技術が挙げられ
る。のような処理により、画像処理装置は、色信号から
ノイズ成分を除去することができるようになる。
回路80の具体的構成として図10に示すような構成を
挙げて説明した。しかし、特徴量抽出回路80はこれに
限定されるものではなく、他の構成とすることもでき
る。例えば、特徴量抽出回路80を図11に示すような
構成にすることもできる。
80は、第1乃至第3のダイナミックレンジ演算部9
1,92,93と、第1乃至第3の量子化部94,9
5,96とを備えている。
至第3のダイナミックレンジ演算部91,92,93で
は、(21)式〜(23)式により、ダイナミックレン
ジの差分値を得る。
より得た値は、第1の量子化部94において量子化さ
れ、第2のダイナミックレンジ演算部92にて(22)
式により得た値は、第2の量子化部95において量子化
され、第3のダイナミックレンジ演算部93にて(2
3)式により得た値は、第3の量子化部96において量
子化される。
量は、図8及び図9に示すように、先に説明した場合と
同様に、クラス分類回路101に出力される。そして、
学習時においては、図10に示すように、この特徴量に
基づいてクラス分類回路101から出力されたインデッ
クスが、係数演算回路104にて得た予測係数を予測係
数ROM102に記憶するためのアドレスとして使用さ
れ、一方で、G’を得る場合には、図9に示すように、
この特徴量に基づいてクラス分類回路101から出力さ
れたインデックスが、予測係数ROM102に記憶され
ている予測係数のデータセットw1〜w3の読み出しの
ために使用される。
ク内の色信号の変化の相関が高いことを利用して、他の
色信号から一の色信号を生成する場合について説明した
が、例えば、より相関が高い色信号によって一の色信号
を生成することもできる。
得られるr0〜r8、g0〜g8、b0〜b8は、R,
G,Bそれぞれの色信号について画素ブロック内におけ
る変化を示しており、これらは互いに高い相関を持つ。
例えば、(1)式乃至(3)式は、色信号の最小値やダ
イナミックレンジによって決定されるものであって、図
12に示すように、MINR及びDRR検出部11、M
ING、DRG検出部12及びMINB及びDRB検出
部23によって得ることができる。
式を定義する。例えば、この(23)式及び(24)式
は、図12に示すように、差分演算部111,112に
よって得ることができる。
るもので、小さい値であるほどGの色信号と相関がより
高く、すなわち、EGRは、画素ブロック内におけるG
の色信号の変化とRの色信号の変化との相似性を示し、
EGBは、画素ブロック内におけるGの色信号の変化と
Bの色信号の変化との相似性を示すものとなる。これに
基づいて、EGRとEGBとを比較してより値の小さい
方の色信号を用いて、色変換したGを求める。すなわ
ち、相関の高い方の色信号の値をCとしたとき、(2
6)式により色変換したGC4を求める。
とされる画素ブロック内の中心位置の色信号の値であ
り、また、MINCは、画素ブロック内の画素のCにつ
いての最小値であり、また、DRCは、画素ブロック内
のCについてのダイナミックレンジになる。
ように、各差分演算部111,112から出力されたE
GRとEGBとを比較部113にて比較して、(26)
式の演算を行う色変換部114によって実現される。
信号のみを変換して一の色信号を生成することもでき、
そして、このように変換して得た色信号を、もとの一の
色信号に加えることにより、ノイズ成分が除去された色
信号を得ることもできる。
になるような場合には、2色の平均値として上述の色信
号の値Cを決定することもできる。
Cの替わりに、C4以外の値であるC0,C1,C2,
C3,C5,C6,C7,C8を用いることもできる。
この場合、CR4として8候補を得て、それらの平均
を、生成したCR4とすることもできる。さらに、この
ような場合、そのようにして求めた候補のうち、0≦C
R4≦255(画素のデータが8bitで表される場合)
以外のものを除いた平均値を求めることができる。
クが3×3である場合について説明しているが、これに
限定されることはなく、他の大きさの画素ブロックにお
いて色信号の変換等を行うこともできる。例えば、他の
大きさの画素ブロックとしては9×9や5×5等であ
る。
備えたいわゆるカメラ一体型記録及び/又は再生装置に
搭載されれ、撮像して得た画像信号中のノイズを除去す
ることが挙げられる。しかし、これに限定されるもので
はなく、撮像装置によって撮像された画像をテープ状記
録媒体に対して記録及び/又は再生する記録及び/又は
再生装置が、上述したような画像処理装置を搭載し或い
は同等の機能を有することもできる。
号について、当該一の色信号の同画素位置近傍の他の色
信号から疑似色信号を生成する色生成手段と、一の色信
号と色生成手段が生成した疑似色信号とを合成して一の
色信号を新たに生成する色合成手段とを備えることによ
り、一の色信号について、当該一の色信号の同画素位置
近傍の他の色信号から疑似色信号を色生成手段により生
成し、一の色信号と色生成手段が生成した疑似色信号と
を合成して一の色信号を色合成手段により新たに生成す
ることができる。これにより、画像処理装置は、各色信
号間に独立して発生するノイズ成分を除去することがで
きる。
色信号について、当該一の色信号の同画素位置近傍の他
の色信号から疑似色信号を生成する色生成工程と、一の
色信号と色生成工程にて生成した疑似色信号とを合成し
て一の色信号を新たに生成する色合成工程とを有するこ
とにより、画像処理方法は、各色信号間に独立して発生
するノイズ成分を除去することができる。
は、一の色信号について、当該一の色信号の同画素位置
近傍の他の色信号から疑似色信号を生成する色生成工程
と、一の色信号と色生成工程にて生成した疑似色信号と
を合成して一の色信号を新たに生成する色合成工程とを
画像処理装置に実行させるプログラムが記録されている
おり、このようなプログラム記録媒体に記録されている
プログラムにより画像処理を実行する画像処理装置は、
各色信号間に独立して発生するノイズ成分を除去するこ
とができる。
理の説明のために使用した図であって、入力画素信号に
ついてのブロック化を示す図である。
す図である。
すブロック図である。
化回路、MIN及びDR検出回路、及び色変換回路の具
体的な構成を示すブロック図である。
平均値として求めるときの一連の処理を示すフローチャ
ートである。
路及び加算回路の具体的な構成を示すブロック図であ
る。
CCDに基づいて行う処理を実現するための構成を示す
ブロック図である。
を学習するための構成を示すブロック図である。
予測係数を使用して新たな色信号を得るための構成を示
すブロック図である。^
ック図である。
ブロック図である。
生成する場合の構成を示すブロック図である。
路、30 色変換回路、40 加算回路
Claims (13)
- 【請求項1】 複数の色信号によって画素が構成されて
いる画像の処理をする画像処理装置であって、 一の色信号について、当該一の色信号の同画素位置近傍
の他の色信号から疑似色信号を生成する色生成手段と、 上記一の色信号と上記色生成手段が生成した疑似色信号
とを合成して一の色信号を新たに生成する色合成手段と
を備えたことを特徴とする画像処理装置。 - 【請求項2】 入力画像信号を所定の大きさの画素ブロ
ックにブロック化するブロック化手段を備え、 上記色生成手段は、上記ブロック化手段から出力された
画素ブロック内における一の色信号の変化と他の色信号
の変化の相関に基づいて、当該画素ブロック内における
注目画素の一の色信号について、上記注目画素の他の色
信号から疑似色信号を生成することを特徴とする請求項
1記載の画像処理装置。 - 【請求項3】 上記画素ブロック内における上記注目画
素の画素位置が、上記画素ブロック内の中心位置である
ことを特徴とする請求項2記載の画像処理装置。 - 【請求項4】 上記注目画素の一の色信号の値をA1と
し、上記注目画素の他の色信号の値をA2とし、上記画
素ブロック内の全画素についての一の色信号の最小値を
A1minとし、一の色信号の最大値と上記最小値A1min
との差分をDR1とし、 上記画素ブロック内の全画素についての他の色信号の最
小値をA2minとし、他の色信号の最大値と上記最小値
A2minとの差分をDR2としたとき、 上記色生成手段は、上記疑似色信号の値A12を A12=(A2−A2min)×DR1/DR2+A1min として生成していることを特徴とする請求項2記載の画
像処理装置。 - 【請求項5】 上記一の色信号の値をA1とし、n−1
個の上記他の疑似色信号の値をA2〜Anとし、最適な
重み係数をn個のW1〜Wnとしたとき、 上記色合成手段は、上記合成した新たな一の色信号
A1’を 【数1】 として生成していることを特徴とする請求項2記載の画
像処理装置。 - 【請求項6】 上記ブロック化手段にてブロック化して
得たデータをクラス毎に分類して、その分類に対応する
クラスコードを出力するクラス分類手段と、 上記クラスコードに応じて入力画像信号に対応するノイ
ズ低減された上記一の色信号の生成を可能とする上記n
個の重み係数W1〜Wnのデータ列を出力する重み係数
出力手段とを備え、 上記色合成手段は、上記重み係数出力手段が出力した上
記n個のW1〜Wnにより上記合成した新たな一の色信
号A1’を生成することを特徴とする請求項5記載の画
像処理装置。 - 【請求項7】 上記重み係数出力手段は、ノイズを含む
画像信号をブロック化してクラス分類して得たデータ
と、低ノイズの画像信号をブロック化して得たデータと
で予め学習して、上記n個の重み係数W1〜Wnを上記
クラスコードに対応させて取得していることを特徴とす
る請求項6記載の画像処理装置。 - 【請求項8】 学習して取得した上記n個の重み係数W
1〜Wnが記憶される記録手段を備えており、 上記記憶手段は、上記クラスコードに対応するそれぞれ
のアドレスに上記n個の重み係数W1〜Wnが記憶され
ており、ノイズ低減された一の色信号を生成するために
上記クラス分類手段により出力されたクラスコードに応
じて上記n個の重み係数W1〜Wnが読み出されること
を特徴とする請求項7記載の画像処理装置。 - 【請求項9】 上記色生成手段は、上記一の色信号につ
いての相関がより高い方の他の色信号を使用して、上記
疑似色信号を生成することを特徴とする請求項2記載の
画像処理装置。 - 【請求項10】 上記色生成手段は、上記一の色信号に
ついて、上記画素ブロック内の他の位置の他の色信号も
使用して、上記疑似色信号を生成しており、 上記色生成手段が生成する一の疑似色信号は、上記画素
ブロックの他の各位置の他の信号を使用して得た疑似色
信号の平均値であることを特徴とする請求項2記載の画
像処理装置。 - 【請求項11】 上記各色信号は、R,G,Bであっ
て、3板式の撮像素子によってそれぞれ独立に得られて
いることを特徴とする請求項1記載の画像処理装置。 - 【請求項12】 複数の色信号によって画素が構成され
ている画像の処理をする画像処理方法であって、 一の色信号について、当該一の色信号の同画素位置近傍
の他の色信号から疑似色信号を生成する色生成工程と、 上記一の色信号と上記色生成工程にて生成した疑似色信
号とを合成して一の色信号を新たに生成する色合成工程
とを有することを特徴とする画像処理方法。 - 【請求項13】 複数の色信号によって画素が構成され
ている画像の処理をする画像処理装置を実行させるプロ
グラムが記録されたプログラム記録媒体であって、 一の色信号について、当該一の色信号の同画素位置近傍
の他の色信号から疑似色信号を生成する色生成工程と、 上記一の色信号と上記色生成工程にて生成した疑似色信
号とを合成して一の色信号を新たに生成する色合成工程
ととを上記画像処理装置に実行させるプログラムが記録
されていることを特徴とするプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000344494A JP4599705B2 (ja) | 2000-11-10 | 2000-11-10 | 画像処理装置及びその方法、並びにプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000344494A JP4599705B2 (ja) | 2000-11-10 | 2000-11-10 | 画像処理装置及びその方法、並びにプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002150282A true JP2002150282A (ja) | 2002-05-24 |
JP4599705B2 JP4599705B2 (ja) | 2010-12-15 |
Family
ID=18818682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000344494A Expired - Fee Related JP4599705B2 (ja) | 2000-11-10 | 2000-11-10 | 画像処理装置及びその方法、並びにプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4599705B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007259401A (ja) * | 2006-02-22 | 2007-10-04 | Fujifilm Corp | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ |
JP2013211674A (ja) * | 2012-03-30 | 2013-10-10 | Dainippon Printing Co Ltd | ノイズ除去装置及びノイズ除去方法 |
JP2018073366A (ja) * | 2016-11-04 | 2018-05-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06153087A (ja) * | 1992-09-17 | 1994-05-31 | Sony Corp | 画素欠陥補正方法 |
JPH0983804A (ja) * | 1995-09-14 | 1997-03-28 | Matsushita Electric Ind Co Ltd | ノイズ低減装置 |
JPH09284783A (ja) * | 1996-04-10 | 1997-10-31 | Matsushita Electric Ind Co Ltd | 欠陥補正装置及びこれを用いた固体撮像装置 |
JPH10275229A (ja) * | 1997-03-31 | 1998-10-13 | Dainippon Screen Mfg Co Ltd | カラー画像のフィルタリング装置およびフィルタリング方法 |
JP2000125312A (ja) * | 1998-10-13 | 2000-04-28 | Canon Inc | 撮像装置及び撮像方法 |
JP2000308082A (ja) * | 1999-04-23 | 2000-11-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像欠陥補正方法およびこの方法を記録した記録媒体 |
JP2000308079A (ja) * | 1999-02-19 | 2000-11-02 | Sony Corp | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
-
2000
- 2000-11-10 JP JP2000344494A patent/JP4599705B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06153087A (ja) * | 1992-09-17 | 1994-05-31 | Sony Corp | 画素欠陥補正方法 |
JPH0983804A (ja) * | 1995-09-14 | 1997-03-28 | Matsushita Electric Ind Co Ltd | ノイズ低減装置 |
JPH09284783A (ja) * | 1996-04-10 | 1997-10-31 | Matsushita Electric Ind Co Ltd | 欠陥補正装置及びこれを用いた固体撮像装置 |
JPH10275229A (ja) * | 1997-03-31 | 1998-10-13 | Dainippon Screen Mfg Co Ltd | カラー画像のフィルタリング装置およびフィルタリング方法 |
JP2000125312A (ja) * | 1998-10-13 | 2000-04-28 | Canon Inc | 撮像装置及び撮像方法 |
JP2000308079A (ja) * | 1999-02-19 | 2000-11-02 | Sony Corp | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
JP2000308082A (ja) * | 1999-04-23 | 2000-11-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像欠陥補正方法およびこの方法を記録した記録媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007259401A (ja) * | 2006-02-22 | 2007-10-04 | Fujifilm Corp | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ |
JP2013211674A (ja) * | 2012-03-30 | 2013-10-10 | Dainippon Printing Co Ltd | ノイズ除去装置及びノイズ除去方法 |
JP2018073366A (ja) * | 2016-11-04 | 2018-05-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4599705B2 (ja) | 2010-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111741211B (zh) | 图像显示方法和设备 | |
CN111460931B (zh) | 基于颜色通道差值图特征的人脸欺骗检测方法及系统 | |
KR101026585B1 (ko) | 장면의 이미지 시퀀스로부터 고 동적 범위(hdr) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체 | |
US8498498B2 (en) | Apparatus and method of obtaining high resolution image | |
US7973827B2 (en) | Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution | |
US8605999B2 (en) | Signal processing apparatus and method, noise reduction apparatus and method, and program therefor | |
JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
US20070071282A1 (en) | Digital watermark embedding apparatus and method, and digital watermark detection apparatus and method | |
CN112906649A (zh) | 视频分割方法、设备、计算机设备及介质 | |
US20120121173A1 (en) | Image processing apparatus and method, and program | |
US8154630B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium which stores image processing program | |
WO2023005818A1 (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
CN111340732A (zh) | 一种低照度视频图像增强方法及装置 | |
CN110555877B (zh) | 一种图像处理方法、装置及设备、可读介质 | |
KR20010113666A (ko) | 컬러 영상 처리 방법 및 그 장치 | |
JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
JPH07115569A (ja) | ノイズ低減装置及び方法 | |
JP2002150282A (ja) | 画像処理装置及びその方法、並びにプログラム記録媒体 | |
JP4831941B2 (ja) | 撮像処理システム、プログラム及び記憶媒体 | |
KR102389284B1 (ko) | 인공지능 기반 이미지 인페인팅 방법 및 디바이스 | |
JP4197821B2 (ja) | 画像処理装置 | |
CN117496160B (zh) | 一种面向室内场景的无人机拍摄低光照图像语义分割方法 | |
JP5800559B2 (ja) | 被写体追尾装置、撮像装置、被写体追尾方法及びプログラム | |
US11995153B2 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2023229643A1 (en) | Shuffled recursive residual network for image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |